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Предисловие автора 


Когда мне было [7 лет, я прочитал книгу, которая сформировала мои интеллектуальные 
увлечения на следующие несколько десятилетий. Это была «Структура художественного 
текста» Юрия Лотмана (изданная в 1970 году) [1]. Хотя Лотман описывал семиотический 
анализ литературных текстов, я понял, что теми же способами мы можем изучать 
визуальное искусство и медиа. Что представляют собой элементы и структуры 
художественного изображения и как они определяют значения, эстетическое воздействие 
и ценность этого изображения? Вскоре после этого я прочел книгу «Искусство и 
визуальное восприятие» Рудольфа Арнхейма [2] и познакомился с анализом 
аудиовизуального монтажа во вступительных кадрах фильма «Александр Невский» 
(1938) в статье Сергея Эйзенштейна. Работы этих теоретиков поддержали мою 
увлеченность идеей о том, что мы можем очень детально анализировать множество 
аспектов художественного текста и даже предсказывать эстетическую реакцию зрителя. 


В течение следующего десятилетия я постепенно осознал невероятную сложность — 
и в конечном счете теоретическую невозможность этого проекта. В отличие от 
литературных текстов, которые используют естественные языки, изображения в 
большинстве случаев не конструируются из предзаданного набора возможных элементов 
(три цвета светофора — одно из редких исключений). Также и у художественных 
изображений нет одной универсальной грамматики. Все это делает невозможной 
разработку общей визуальной семиотической системы, которая бы перечисляла все 
допустимые элементы всех изображений и способы, которыми они могут быть 
скомбинированы. Мы вынуждены исследовать каждое изображение (или серию 
изображений) отдельно, чтобы понять, каковы его «элементы». Например, если взять 
абстрактную картину Джексона Поллока и немного изменить формы и цвета нескольких 
линий, зрители этого не заметят, так как эти полотна имеют сотни подобных линий 
различных форм и цветов. Но в картинах Джозефа Альберса из серии «Посвящение 
квадрату» (1949—), которые состоят всего из нескольких прямоугольных форм разных 
цветов, даже легкое изменение размера, яркости, насыщенности или тона отдельной 
формы повлечет принципиальное изменение всего произведения [3]. То, что было 
незаметным и незначительным в одном изображении, становится видимым и 
существенным в другом. 

Однако я не отказался от семиотического проекта по осмыслению визуальных медиа. 
Я просто перенес свое внимание на то, что казалось мне более простой задачей — и 
одновременно более актуальной. Вместо того чтобы пытаться понять означающие 
элементы, их взаимодействие и оказываемый на зрителя эффект отдельных работ «старых 
медиа» (например, картин), я начал исследовать эстетическую палитру «новых медиа». 
Этот термин появился около 1990 года и относился к культурным артефактам, 
существовавшим на базе компьютеров и электронных сетей. (Сам я начал 
профессионально работать с компьютерной графикой и анимацией в 1984-м.) Как ив 
случае «старых медиа», можно говорить о визуальных аспектах новых медиа, таких как 
цвет, композиция, ритм. В действительности, язык дизаина, развитый и теоретически 
обоснованный внутри систем обучения ВХУТЕМАСа и Баухауза в 1920-х, прекрасно 
подходит для описания визуальных аспектов новых медиа. Но они обладают и новыми 
качествами: интерактивностью, интерфейсом, организацией баз данных, 
пространственной навигацией, а также новыми парадигмами их создания, такими как 
написание кода, использование фильтров, цифровой композитинг и З3О-моделирование. 
Мои исследования и публикации в течение 1990-х годов были сосредоточены на анализе 
этих новых аспектов и парадигм и впоследствии были объединены в книгу «Язык новых 
медиа» (завершенную в 1999-м и изданную в 2001-м) [4]. Это исследование представлено 
в данном сборнике статьей «Принципы новых медиа». 

Хотя рассмотрение «новых медиа» было моим главным исследовательским интересом 
в 1990-х, постепенно я стал также задумываться о том, что происходит с концептом 
«медиа» как таковым в цифровую эпоху. Софт для создания и редактирования и 
цифровые процессы производства культурных объектов постепенно заменяли все 
предыдущие виды культурных инструментов. В то время как художники продолжали 
использовать старые инструменты, в культурных индустриях рисование, обработка 
фотографий, создание ЗО-объектов и пространств, графический дизайн, медиадизайн и 
обработка звука теперь осуществлялись с использованием таких программных 
инструментов, как РВоюзВор и АЁег ЕНес$ (АдоЪе), Еша1 Сиё (АррЕе), Мауа (АшодезК), 
Мпсгозой Осе и Рго Тос[5 (Ау1а). Каким образом эти инструменты формируют эстетику 
современных медиа и дизайна? Что происходит с идеей «медиума» после того, как 
инструменты, которые ранее были медиа-специфичными, теперь симулированы в софте? 
Имеет ли вообще смысл все еще говорить о различных медиумах'? Каковы были мысли и 


мотивации людей, создавших в 1960—1970-х годах концепции и практические техники, 
которые легли в основу современного медиасофта, используемого сегодня? 

Моя работа над этими вопросами приводит к тому, что можно назвать «семиотикой 
культурного софта». Этот вид анализа был представлен в моей следующей книге эой\аге 
ТаКез Соттап4 (первая публикация — 2007 год, новая версия — 2013 год) [5]. В данном 
сборнике этот анализ представлен статьями «Постмедиальная эстетика» и «Медиа в эпоху 
софта». 

Таким образом, мое семиотическое путешествие продвигалось от попыток понять, как 
работает традиционное визуальное искусство (1980-е), до обзора новых эстетических 
возможностей новых медиа (1990-е) и затем теоретизирования медиасофта и платформ, 
которые теперь использовались для создания, распространения и взаимодействия с 
любыми медиа (2000-е). Но что случилось с моим первоначальным желанием описать 
возможные элементы и качества визуальных артефактов и понять, как они производят 
смыслы и эмоции? В 2005 году я осознал, что могу, наконец, вернуться к этой идее, но 
подойти к ней уже с другой стороны. Вместо того чтобы фокусироваться на отдельных 
визуальных работах, теперь я мог начать анализировать миллионы визуальных 
культурных артефактов в совокупности. Это могут быть оцифрованные исторические 
артефакты (например, картины, страницы газет или старые фотографии), 
пользовательский визуальный контент (фотографии из Ейскг, ш%астат, ВКонтакте и 
других социальных медиа) и всевозможные другие типы. Такой крупномасштабный 
анализ, невообразимый в середине 1980-х, стал возможным двадцатью годами позже 
благодаря возросшей скорости работы компьютеров и тому, что «визуальная культура» 
стала доступной в цифровом формате в огромном масштабе (оцифровывание 
исторических материалов и посты в социальных сетях). 

Теперь этот анализ можно было производить не вручную, а с помощью компьютеров с 
использованием техник, разработанных в таких областях, как компьютерное зрение и 
искусственный интеллект. Большое преимущество такого анализа состоит в том, что 
компьютеры могут измерить множество визуальных характеристик с произвольной 
точностью, недоступной нашим естественным языкам. Такие измерения могут включать 
все что угодно: от цветовой палитры изображения до степени широты улыбки на селфи в 
шп${асопат. (Например, для проекта ЗеШесиу, который наша лаборатория осуществила в 
2013 году, мы использовали софт, измеряющий силу улыбки по шкале от 1 до 100 [6].) 
Это дает нам новый язык для описания изображений, которое недоступно естественным 
языкам, — и приближает к идеалу визуальной семиотики. 

Другое преимущество компьютеров состоит в том, что они могут количественно 
описывать характеристики изображений или их частей, которые не выражены в 
отдельных визуальных «элементах», таких как цветовые линии Поллока или квадраты 
Альоерса. Примерами таких характеристик могут быть градиенты и текстуры, степень 
резкости или размытости фотографии или скорость движения людей на видео. 

Мой методологический переход от изучения отдельных визуальных артефактов к 
анализу их в больших объемах произошел параллельно с изменением нашего восприятия 
визуальной культуры. Исследование отдельных единиц и «пристальное чтение» были 
логичны для ХХ века, когда мы как потребители культуры также сосредоточивались на 
отдельных работах. Мы ходили в кино, чтобы посмотреть конкретный фильм, в музей, 
чтобы увидеть определенные произведения, прослушивали дома одну музыкальную 
запись снова и снова. Доступные нам медиа были ограничены в количестве, и мы 
проводили значительное время с отдельными артефактами. Например, я помню, как 
подростком сотню раз пересматривал репродукции произведений искусства в одних и тех 
же альбомах нашей домашней библиотеки. 

А какова ситуация сегодня? Визуальный поиск и рекомендации от Фоозе, Уапдех, 
УоцТаБе, ш$аогат или Рицеге$( позволяют нам получать бесконечные изображения и 


видео, в то время как сайты крупнейших музеев предлагают для просмотра сотни тысяч 
оцифрованных произведений искусства и других исторических артефактов. Визуальное 
«сообщение», или «знак» (используя термины семиотики), теперь никогда не 
изолировано, а напротив — является частью огромных медиамассивов, которые мы 
воспринимаем как бесконечные. (Можете ли вы точно представить, как выглядят два 
миллиарда изображений, которыми люди делятся ежедневно на НКасебоок? Если бы их 
стало четыре миллиарда, вы бы заметили?) 

Третий раздел этого сборника включает несколько статей, которые я написал между 
2009 и 2015 годами в процессе работы над десятками практических аналитических 
проектов в нашей Лаборатории Культурной Аналитики [7]. Лаборатория была создана в 
2007 году одновременно для теоретического осмысления использования компьютеров, 
изучения визуальной культуры и работы над конкретными проектами с различными 
типами медиаколлекций: от картин французских импрессионистов до миллионов 
фотографий из ш$астат. 

Отобранные для книги статьи в этом разделе объединены одной темой, важной для 
меня, поскольку она связывает новые возможности компьютерного изучения огромных 
культурных массивов сегодня и третью четверть ХХ века с ее семиотическим 
воображением, оказавшим на меня сильное влияние, когда я был еще студентом. Эта тема 
— возможность «науки о культуре». 

В ХХ веке общество стало «видимым», с одной стороны, благодаря скоплению 
людей в растущих мегаполисах, с другой — благодаря развитию государственной 
статистики. Это привело к идее «социологии» (науки о социальном). В начале ХХ] века 
стремительный рост числа цифровых культурных артефактов и одновременно появление 
относительно простых способов их сбора и анализа с помощью компьютеров схожим 
образом наталкивает на идею «науки о культуре». Такая наука не должна пытаться 
обнаруживать жесткие «культурные законы», но вместо этого может изучать культурные 
паттерны и строить математические модели, которые предсказывают эти паттерны. И 
действительно, за последние десять лет появились сотни тысяч публикаций, в которых 
это делается в контексте компьютерных наук, информатики и вычислительной 
социальной науки. 

Здесь я вижу прямую связь с семиотикой и структурализмом 1960-х годов, поскольку 
эти парадигмы в значительной степени пытались сделать анализ культуры менее 
фрагментарным и субъективным и более организованным и «наукообразным». Поэтому, 
например, начало классического эссе Ролана Барта «Фотографическое сообщение» (1961) 
читается как научная статья: «Газетная фотография представляет собой сообщение. Это 
сообщение образовано источником-отправителем, каналом передачи и точкой получения» 
[5]. 

Значит ли это, что вычислительный анализ и моделирование культурных данных, с их 
стремлением к систематизации и формализации, в конечном счете также потеряют 
энергию и привлекательность, поскольку докажут нам свою неспособность полностью 
описать разнообразие и в то же время индивидуальность культурных артефактов и 
взаимодействий? А может, они позволят нам выйти за пределы ограничений семиотики и 
культурной теории второй половины ХХ века? Время покажет. 

Для меня ключевой интерес в работе с большими массивами визуальных артефактов 
заключается в создании методов и инструментов, которые в первую очередь позволят их 
увидеть в буквальном смысле. Например, как мы можем «посмотреть» на миллиард 
фотографий в ш$асгат'? Я не пытаюсь заменить статистическими моделями или 
компьютерными нейросетями все, что я узнал в жизни о культуре и обществе, или 
отказаться от других возможных способов думать о визуальных медиа, предложенных 
разными теоретиками за последние сто лет. Но, прежде чем размышлять о медиа сегодня, 
мне нужно их увидеть, а этот первичный акт стал большой проблемой, когда каждый день 


появляются миллиарды изображений и видео. Так, я двигался от семиотического анализа 
отдельных произведений искусства, которые могут быть восприняты невооруженным 
глазом, к созданию интерфейсов и техник компьютерного «видения» современных медиа, 
ставших необходимыми из-за их масштаба. 

Означает ли это, что классический семиотический проект по осмыслению того, как 
организованы структуры разных культурных текстов и объектов и как они производят 
эстетические эффекты и значения, больше не нужен? Или что отдельные изображения 
больше ничего не значат? Вовсе нет. Вспомним хотя бы огромное количество юных 
пользователей ш$асгат по всему миру, которые тратят целые дни, редактируя отдельные 
фотографии, и бьются буквально над каждым пикселем [9]. Индивидуальное, уникальное 
и мастерски сделанное никуда не делось — и полное понимание, почему именно это 
изображение, а не другое, именно этот фильтр, а не тот влияет на нас больше, чем другой, 
возможно, придет только тогда, когда нейронаука достаточно продвинется вперед. И хотя 
сегодня мы можем количественно описать структуры искусства и медиаобъектов и 
интеракции с ними с большей степенью детализации, чем раньше, понимание того, как 
искусство и дизайн производят смысл или аффект, остается недоступным. Но 
действительно ли мы хотим понять это в полной мере (или понять любовь, желание, 
память и другие аспекты человеческого существования)? 

Нью-Йорк, 3—4 сентября 2017 года 
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[. Новые медиа 


Принципы новых медиа 


1999 
тшо@и|агбу рипер/е / принцип модульности 
Батап-сотрщег п(егГасе / интерфейс человек-компьютер 
агайсла] 1пеШсепсе / искусственный интеллект 
уапа Ищу рипстре / принцип изменяемости 
ргодисйоп оп детапа / производство по требованию 
«а т ите» дейуету / доставка «точно в срок» 
БгапсЬ1пэ-буре 1щегасйуцу / разветвленная интерактивность 
ргоэтатта е тедла / программируемые медиа 


Как медиа стали «новыми» 


19 августа 1839 года дворец Института Франции был до отказа забит любопытными 
парижанами, которые пришли послушать доклад о новом способе получения 
изображений, изобретенном Луи Дагером. Дагер, к тому времени уже достаточно 
известный благодаря своей диораме, назвал этот новый процесс дагеротипией. По 
свидетельству современника, «всего через несколько дней магазины оптики были 
переполнены энтузиастами, выстроившимися в очередь за аппаратами дагеротипии, и 
повсюду под прицелом этих камер оказывались здания. Каждый хотел запечатлеть вид из 
своего окна, и самым удачливым удавалось с первой попытки получить силуэт крыш на 
фоне неба» [1]. Так началась медиагорячка. В течение пяти месяцев по всему миру было 
опубликовано более тридцати различных текстов, описывающих этот метод: в Барселоне, 
Эдинбурге, Галле, Неаполе, Филадельфии, Санкт-Петербурге, Стокгольме. Вначале 
воображением публики владели дагеротипы архитектуры и пейзажей, но два года спустя, 
после внесения в процесс различных технических усовершенствований, повсюду 
появились портретные галереи, и все ринулись за своими портретами, снятыми новой 
медиамашиной [2]. 

В 1833 году Чарльз Бэббидж начал разрабатывать новое устройство, которое он 
назвал аналитической машиной. Оно обладало большинством ключевых характеристик 
современного цифрового компьютера. Для ввода данных и инструкций использовались 
перфокарты, и вся эта информация хранилась в памяти машины. Арифметическое 
устройство, которое Бэббидж назвал «мельницей», производило операции с данными и 
записывало результаты в память, после чего финальный результат выводился на печать. 
Аналитическая машина могла производить любые математические операции. Она не 
только следовала вводимым через карты программам, но также, основываясь на 
промежуточных результатах, решала, какую инструкцию использовать далее. 
Проектированием «железа» машины занимался сам Бэббидх, а за написание «софта» 
отвечала Августа Ада Кинг, графиня Лавлейс, дочь лорда Байрона. Однако, в отличие от 
дагеротипии, ни один из экземпляров аналитической машины так и не был завершен. 
Таким образом, в то время как изобретение современного медиаинструмента копирования 
реальности оказало воздействие на общество незамедлительно, значение компьютера еще 
предстояло оценить. 

Интересно, что Бэббидж заимствовал идею использования перфокарт для хранения 
информации у уже существовавшей программируемой машины. В самом начале ХХ века 
Жозеф Мари Жаккар изобрел ткацкий станок, который автоматически управлялся 
перфорированными бумажными картами. Он использовался для изготовления сложных 
фигуративных изображений, в частности портрета самого Жаккара. Этот 
«специализированный графический компьютер» вдохновил Бэббиджа на создание 
аналитической машины — компьютера для числовых расчетов. Как выразилась Ада 
Лавлейс, ассистент Бэббиджа и первый в истории программист, «аналитическая машина 
ткет алгебраические узоры так же, как станок Жаккара — узоры из цветов и листьев» [3]. 
Таким образом, программируемая машина синтезировала изображения еще до того, как 
научилась обрабатывать числа. Те, кто занимается историей компьютеров, не придают 
большого значения связи между станком Жаккара и аналитической машиной, поскольку 
для них синтез изображений и манипуляции с ними — всего лишь одни из тысяч 
применений современных цифровых компьютеров, однако для историка новых медиа 
роль этой связи невозможно переоценить. 

Нас не должно удивлять то, что обе траектории — развитие медиа и развитие 
компьютеров — берут свое начало примерно в одно и то же время. И медиамашины, и 
машины вычислительные были абсолютно необходимы для функционирования массового 
общества эпохи модерна. Возможность распространять одни и те же тексты, изображения 
и звуки среди миллионов граждан, гарантируя тем самым общие для них идеологические 


установки, была так же необходима, как и возможность вести учет рождаемости и 
занятости, медицинский и полицейский учет. Фотография, кино, офсетная печать, радио и 
телевидение позволили воплотить в жизнь первую, а компьютеры — вторую. Массмедиа 
и обработка данных являются взаимодополняющими технологиями массового общества. 

Долгое время указанные траектории развивались параллельно, ни разу не пересекаясь. 
На протяжении ХХ и начала ХХ века появилось множество механических и 
электрических табуляторов и вычислительных машин. Постепенно они становились 
быстрее, и их начинали все шире использовать. Одновременно с этим мы наблюдаем 
развитие медиа, позволившее хранить изображения, последовательности изображений, 
звуки и тексты на различных материальных носителях: фотопластинках, кинопленках, 
грампластинках ит. д. 

Продолжаем следить за этой совместной историей. В 1890-х годах медиа делают 
следующий шаг — статичные фотографии приходят в движение. За предыдущие 
десятилетия и за одно последующее было создано большинство медиамашин, 
позволяющих фиксировать неподвижные изображения видимой реальности (фотография) 
и звуки (фонограф), а также осуществлять передачу изображений и звука в реальном 
времени (телевидение, факс, телефон, радио). Однако среди всех изобретений сильнее 
всего в общественной памяти отпечаталось появление кинематографа. Мы вспоминаем 
именно 1895 год, а не 1875-и (первые телевизионные эксперименты Джорджа Кэри) или 
1907-й (начало использования факса). Очевидно, что способность медиа той эпохи 
записывать аспекты чувственной реальности и с помощью этих записей воссоздавать ее 
для наших чувств впечатляет нас больше, чем коммуникация в реальном времени 
(по крайней мере, так было до недавних пор, до интернета). Если бы мы могли выбирать, 
окажемся ли мы в числе первых зрителей на показе братьев Люмьер или среди первых 
пользователей телефона, то мы бы выбрали первое. Это связано в том числе с тем, что 
новые возможности записи привели к такому развитию новых медиаискусств, которое не 
могло произойти на основе коммуникации в реальном времени. Тот факт, что аспекты 
чувственной реальности могут быть записаны, а эти записи затем можно комбинировать, 
видоизменять и обрабатывать (иными словами, редактировать), сделал возможным 
возникновение новых видов искусства, которые в ХХ веке быстро заняли доминирующее 
положение. Несмотря на непрерывные эксперименты авангардных художников с 
современными технологиями коммуникации в режиме реального времени — с радио в 
1920-х, видео в 1970-х, интернетом в 1990-х годах, — возможность общаться, 
преодолевая физическое пространство, сама по себе не смогла вдохновить на создание 
фундаментально новых эстетических принципов так, как это сделали кино и аудиозапись. 

В январе 1893 года первая в истории киностудия «Черная Мария» Томаса Эдисона 
начала производить двадцатисекундные фильмы, которые показывались в специальных 
салонах кинетоскопов. Два года спустя братья Люмьер презентовали синематограф 
(гибрид камеры и проектора) научной аудитории, а затем, в декабре 1895-го, состоялся 
первый коммерческий показ. В течение следующего года публика Йоханнесбурга, 
Бомбея, Рио-де-Жанейро, Мельбурна, Мехико и Осаки покорилась новой медиамашине и 
не смогла ей противостоять [4]. Постепенно сцены становились длиннее, инсценирование 
реальности и монтаж — все более изощренными, а количество копий увеличилось в разы. 
Копии отправлялись в Чикаго и Калькутту, Лондон и Санкт-Петербург, Токио и 
Берлин — и в тысячи и тысячи других городов. Образы кино давали утешение зрителю, 
желавшему убежать от действительности за пределами зала, действительности, с которой 
ему было не под силу справиться с помощью собственной системы отбора и обработки 
данных (т. е. своего мозга). Регулярные путешествия в темные релаксационные комнаты 
кинотеатров стали привычным способом выживания в современном мире. 

1890-е годы стали определяющим десятилетием для развития не только медиа, но и 
вычислительных машин. Мозг человека был перегружен огромным количеством 


информации, требующей обработки, и то же самое происходило в корпорациях и 
государственных структурах. В 1887 году Бюро переписи населения США все еще 
работало с данными, собранными в 1880-м. Для следующей переписи 1890 года бюро уже 
использовало электрические табуляционные машины, спроектированные Германом 
Холлеритом. Собранные данные о каждом человеке пробивались на перфокартах, а 

46 804 переписчика заполняли формы для населения, составлявшего 62 979 766 человек. 
Табулятор Холлерита открыл возможность для использования вычислительных машин в 
бизнесе. На протяжении следующего десятилетия электрические табуляторы стали 
стандартным оборудованием в страховых компаниях, коммунальных службах, 
бухгалтерских отделах и на железных дорогах. В 1911 году в результате объединения 
фирмы Холлерита ТБе Табайп® МасЬте Сотрапу с тремя другими организациями была 
образована компания СТК (Сотрийп®-Таб]айп®-Кесога1пе); в 1914 году ее главой был 
избран Томас Дж. Уотсон. Спустя десять лет бизнес вырос в три раза, и Уотсон 
переименовал компанию в Пиегпайопа| Визшез$$ Масшез Согрогайоп, или сокращенно 
ВМ [5]. 

Итак, мы в новом столетии, 1936 год. В этом году британский математик Алан 
Тьюринг написал эпохальную статью «О вычислимых числах» [6]. В ней он привел 
теоретическое описание универсальной вычислительной машины, которая затем, в честь 
ее изобретателя, была названа универсальной машиной Тьюринга. Несмотря на то, что 
устройство было способно выполнять всего лишь четыре операции, оно могло 
производить любые вычисления, доступные человеку, а также имитировать любую 
другую вычислительную машину. Работа машины происходила посредством чтения и 
записи чисел на бесконечной ленте. На каждом этапе лента продвигалась, чтобы 
выполнить следующую команду, прочитать данные или записать результат. Эта схема 
подозрительно похожа на принцип работы кинопроектора. Можно ли считать это 
совпадением? 

Если мы доверимся слову синематограф, которое означает «записывающий 
движение», то суть кино — это запись и хранение визуальных данных в материальной 
форме. Кинокамера записывает данные, кинопроектор считывает их. Этот 
кинематографический аппарат похож на компьютер в одном ключевом аспекте: 
компьютерным программам и данным также требуется некий носитель. Вот почему 
универсальная машина Тьюринга похожа на кинопроектор. Это и камера, и проектор 
одновременно: инструкции и данные считываются в одном месте бесконечной ленты, а 
записываются — в другом. На самом деле развитие подходящего типа носителя и способа 
кодирования данных является важной частью предыстории как кино, так и компьютера. 
Как известно, изобретатели кинематографа в конечном счете остановились на 
использовании отдельных изображений, записанных на целлулоидную ленту. 
Изобретатели же компьютера, которому необходимы гораздо большая скорость доступа и 
возможность быстро записывать и считывать данные, пришли к использованию 
электронного хранения данных в виде бинарного кода. 

В том же 1936 году две наши траектории оказались как никогда близки друг к другу. 
Начиная с этого года и продолжив в период Второй мировой войны, немецкий инженер 
Конрад Цузе строил компьютер в гостиной квартиры своих родителей в Берлине. Машина 
Цузе была первым цифровым компьютером. Одним из новшеств было программное 
управление, обеспечивавшееся перфорированной лентой. Лента, которой пользовался 
Цузе, на самом деле была списанной 35-миллиметровой кинопленкой [7]. Как и любой 
другой массово производимый продукт индустриальной эпохи, копии фильмов часто 
выбрасывали, и они скапливались в мусорных баках рядом с киностудиями. Вероятно, 
именно там молодой немецкий инженер нашел столь необходимый для своего нового 
изобретения материал. 


На одном из уцелевших кусков этой пленки можно увидеть бинарный код, выбитый 
поверх оригинальных кадров павильонной съемки. Типичная киносцена — два человека в 
комнате вовлечены в какое-то действие — становится основой для набора компьютерных 
команд. Какие бы смыслы и настроения ни заключались в этой сцене, они стирались 
новой функцией ленты как носителя данных. Притязания медиа на создание симуляции 
чувственной реальности также снимаются — они оказываются сведены к изначальному 
положению носителя информации, и не более того. В технологической версии Эдипова 
комплекса сын убивает своего отца. Иконический код кино списывается в пользу более 
эффективного бинарного кода. В итоге кино становится рабом компьютера. 

Но это еще не конец истории. Наша история имеет новый, счастливый, поворот. 
Фильм Цучзе с его странным наложением бинарного кода поверх иконического 
предвосхищает сближение, которое начнется полвека спустя. Две независимые 
исторические траектории наконец встречаются. Медиа и компьютер — дагеротипия 
Дагера и аналитическая машина Бэббиджа, синематограф братьев Люмьер и табулятор 
Холлерита — сливаются в одно. Все существующие медиа переводятся в числовые 
данные, доступные компьютеру. В результате статичные и движущиеся изображения, 
звуки, формы, пространства и тексты становятся вычисляемыми, т. е. просто еще одним 
набором компьютерных данных. Иначе говоря, медиа становятся новыми медиа. 

Эта встреча изменила не только сущность медиа, но и сущность компьютера. Теперь 
это не просто вычислительная машина, устройство управления и коммуникации — 
компьютер становится медиапроцессором. До этого он мог лишь прочитать ряд чисел, 
выдавая статистический результат или просчитывая траекторию полета пули. Теперь он 
может считывать значения пикселей, размывая изображение, настраивая контрастность 
или проверяя, содержится ли в нем контур какого-либо объекта. Основываясь на этих 
элементарных операциях, он может осуществлять и более амбициозные задачи: искать в 
базах изображений картинки, похожие по композиции или содержанию на заданные, 
находить покадровые изменения в фильме, синтезировать сам кинокадр, добавляя в него 
элементы обстановки и актеров. Проделав историческую петлю, компьютер вернулся к 
своим истокам. Теперь это уже не аналитическая машина, умеющая лишь перемалывать 
числа, — компьютер превратился в станок Жаккара, синтезирующий и 


трансформирующий медиа. 


Принципы новых медиа 


Сущность медиа изменилась еще более радикально. Ниже я попытаюсь обобщить 
некоторые ключевые различия между старыми и новыми медиа. Составляя список этих 
различий, я стремился организовать их в логической последовательности: принципы 3 и 4 
зависят от принципов | и 2. Это похоже на аксиоматическую логику, где взяты за основу 
определенные аксиомы, и на их базе доказываются последующие теоремы. 

1. Дискретное представление на различных уровнях 

Этот принцип может быть назван фрактальной структурой новых медиа. Подобно 
фракталу, объект новых медиа имеет одинаковую дискретную структуру на всех уровнях. 
Элементы медиа, будь то изображения, звуки или формы, представляют собой наборы 
дискретных единиц (пикселей, полигонов, вокселей, символов). Эти элементы собраны в 
более масштабные объекты, но продолжают быть самостоятельными. Наконец, сами эти 
объекты могут быть объединены в еще более крупные, опять же не теряя своей 
самостоятельности. Например, мультимедийный «фильм», созданный в программе 
Масготеда Плгесюг, может состоять из сотен изображений, ОшсКкТите-видео, кнопок, 
текстовых элементов, которые хранятся раздельно и подгружаются при запуске. Эти 
«фильмы» могут быть собраны в еще более масштабный «фильм» и т. д. 

Мы также можем назвать это свойство принципом модульности, используя аналогию 
со структурным программированием, связанным с написанием небольших 


самостоятельных модулей (в различных языках программирования они могут называться 
по-разному: методы, функции или процедуры), которые затем собираются в более 
крупные программы. Многие объекты новых медиа на самом деле являются 
компьютерными программами, следующими стилю структурного программирования. 
Например, интерактивное мультимедийное приложение обычно пишется на языке [4120 в 
программе Масготе а Песюог. Однако даже применительно к объектам новых медиа, 
которые не являются компьютерными программами, аналогия со структурным 
программированием все равно работает, поскольку к элементам этих объектов можно 
получить доступ, можно модифицировать или заменять их, не затрагивая общую 
структуру. 

2. Числовое представление 

2.1. Медиа могут быть описаны формально (математически). Например, изображение 
или форма могут быть описаны математической функцией. 

2.2. Медиа становятся субъектом алгоритмической манипуляции. Например, 
используя определенные алгоритмы, мы можем автоматически убрать «шум» с 
фотографии, изменить ее контрастность, определить границы форм ит. д. 

3. Автоматизация 

Дискретное представление информации (1) и ее числовое кодирование (2) позволяют 
автоматизировать множество операций, связанных с созданием медиа, манипуляциями с 
ними и обеспечением доступа к ним. Таким образом, человек может быть исключен из 
творческого процесса хотя бы частично. 

Ниже приведены некоторые примеры того, что можно назвать автоматизацией 
«низкого уровня» при создании медиа, когда компьютер модифицирует (т. е. 
форматирует) или создает с нуля медиаобъект, используя шаблоны или простые 
алгоритмы. Эти методы достаточно надежны, и поэтому они применяются в большинстве 
коммерческих программных продуктов: для редактирования изображений, создания ЗО- 
графики, работы с текстом, графического оформления. Графические редакторы, такие как 
РроюзВор, могут автоматически корректировать отсканированные изображения, 
оптимизируя контрастность и убирая шумы. В них также встроены фильтры, 
позволяющие автоматически модифицировать изображение: от простой цветокоррекции 
до превращения изображения в картину Ван Гога, Сёра или любого другого художника с 
мировым именем. Другие программы позволяют автоматически генерировать 3ЗО- 
объекты: деревья, ландшафты, человеческие фигуры и детализированные анимации 
природных явлений, таких как огонь или водопад. В голливудских фильмах стаи птиц, 
колонии муравьев и даже толпы людей создаются автоматически программами Агайсла| 
ГаЕе. Софт для работы с текстом, веб-дизайна, оформления страниц и создания 
презентаций сопровождается «агентами», которые предлагают пользователю 
автоматически создать макет документа. Писательский софт помогает пользователям 
создавать литературные нарративы, используя крайне формализованные жанровые 
конвенции. Наконец, то, что, возможно, является наиболее знакомым для пользователей 
опытом автоматизации производства медиа: многие веб-сайты автоматически генерируют 
страницы в тот момент, когда пользователь открывает сайт. Они собирают информацию 
из баз данных и форматируют ее, используя шаблоны и скрипты. 

Исследователи также работают над тем, что можно назвать автоматизацией «высокого 
уровня» при создании медиа, что требует от компьютера понимания (до определенной 
степени) смыслов, заключенных в генерируемых объектах, т. е. их семантики. Эти 
исследования можно рассматривать как часть более масштабной инициативы, связанной с 
искусственным интеллектом (ИИ). Как известно, проекты ИИ достигли довольно 
скромных успехов с момента их возникновения в 1950-х годах. Соответственно, работа 
по производству медиа, требующего понимания семантики, также находится на стадии 
исследования, поэтому эти возможности редко оказываются включены в коммерческое 


ПО. Уже начиная с 1970-х компьютеры часто используются для генерирования 
поэтических и художественных текстов. В 1990-х пользователи онлайн-чатов 
познакомились с ботами — компьютерными программами, симулирующими 
человеческое общение. В это же время исследователи из Нью-Йоркского университета 
(МУП) представили системы, позволяющие пользователям взаимодействовать с 
«виртуальным театром», состоящим из «виртуальных актеров», которые могли менять 
свое поведение в реальном времени [3]. Исследователи из медиалаборатории 
Массачусетского технологического института (МТГ) продемонстрировали «умную 
камеру», которая могла автоматически следить за действием и снимать кадры в 
соответствии с заданным сценарием [9]. Другой проект медиалаборатории — АШМУЕ — 
виртуальная среда, где пользователи могут взаимодействовать с анимированными 
персонажами [10]. Наконец, лаборатория представила несколько версий нового типа 
интерфейса человек-компьютер, где компьютер предстает перед пользователем в виде 
говорящего анимированного персонажа. Персонаж генерируется компьютером в режиме 
реального времени, общается с пользователем на естественном языке, а также пытается 
угадать эмоциональное состояние пользователя и подобрать соответствующий стиль 
общения [11]. 

Однако той сферой новых медиа, где обычный пользователь мог столкнуться с ИИ в 
1990-х, были не интерфейсы человек-компьютер, а компьютерные игры. Почти во всех 
коммерческих играх есть компонент, который называется игровой искусственный 
интеллект. Это часть компьютерного кода игры, контролирующая ее персонажей: 
водителеи машин в гоночных симуляторах, вражеские войска в стратегиях вроде 
Соштштапа & Сопачег и отдельных врагов в шутерах, например в Очаке. Существуют 
различные подходы, с помощью которых игровой ИИ симулирует интеллект: от систем, 
основанных на правилах, до нейронных сетей. Создаваемые персонажи, однако, не 
слишком интеллектуальны. Как и экспертные системы ИИ, они, будучи управляемыми 
компьютером, компетентны в четко определенных областях: например, они умеют 
атаковать игрока. Но поскольку компьютерные игры сильно кодифицированы и основаны 
на правилах, а также потому, что возможности игрока сильно ограничены, эти персонажи 
могут действовать весьма эффективно. В этом смысле любую компьютерную игру можно 
представить как еще одну версию шахматной партии между человеком и компьютером. 
Например, в файтинге я не могу задавать оппоненту вопросы, и также не ожидаю, что он 
начнет беседу со мной. Все, что я могу сделать, — это «атаковать» его, нажав на 
несколько клавиш. И в условиях столь строго ограниченной коммуникации компьютер 
вполне может дать мне «отпор». Короче говоря, игровой персонаж может 
демонстрировать интеллект лишь потому, что возможности нашего взаимодействия с ним 
резко ограничены. Приведу еще один пример. Однажды я играл одновременно против 
людей и персонажей, управляемых компьютером, в виртуальный симулятор какого-то 
несуществующего вида спорта. Все мои противники были простыми шариками, 
состоящими из нескольких пикселей на дисплее виртуальной реальности. При таком 
разрешении было невозможно понять, управляется шарик человеком или программой. 
Таким образом, компьютеры могут претендовать на то, чтобы быть разумными, лишь 
поставив нас в положение, в котором для коммуникации с ними мы используем лишь 
незначительную часть самих себя. 

Наряду с областью создания медиа, где присутствует автоматизация «высокого» и 
«низкого уровня», существует и другая область, где уровень автоматизации постоянно 
растет, — доступ к медиа. Переход к использованию компьютера как средства хранения и 
получения доступа к огромному объему медиаматериала, связанного, в частности, с 
распространением в интернете «медиаресурсов», распределенных по множеству веб- 
сайтов, создает необходимость найти более эффективные способы классификации 
медиаобъектов и их поиска. Текстовые редакторы и другие программы для работы с 


текстом долгое время обеспечивали возможность поиска определенных строк текста и 
автоматической индексации документов. В 1990-х годах разработчики софта начали 
предоставлять те же возможности пользователям других медиа. Компания Уттасе 
разработала систему УГ Ппазе Епеше, которая позволяла пользователю осуществлять 
поиск визуально сходного с заданным контента среди миллионов изображений, а также 
обладала набором инструментов для поиска и индексации видеофайлов [12]. К концу 
1990-х главные интернет-поисковики уже включали опцию поиска изображений, видео и 
аудио. 

Интернет также способствовал кристаллизации базового условия нового 
информационного общества — переизбытка всех типов информации. В ответ на это 
появилась идея «агентного» программного обеспечения. Одни «агенты» должны были 
стать своего рода фильтрами, которые пропускают небольшое количество информации в 
соответствии с заданными пользователем критериями. Иные позволяли опираться на 
опыт других пользователей на основе сделанного ими выбора. Так, в эоЙ\аге Азеп$ 
Отопр при МТ были разработаны такие агенты, как ВОУ/макьВ, который «отслеживает и 
делает выжимку из трендов, тем и заголовков в коллекциях текстов за определенный 
период», например из интернет-дискуссий и с веб-страниц; [ей71а — «агент с 
пользовательским интерфейсом, помогающий в навигации по всемирной сети <...> 
отслеживая текущую позицию пользователя, чтобы найти веб-сайты, которые могли бы 
его заинтересовать»; Коорги$, который «использует информацию, оставленную другими 
людьми, чтобы помочь вам сориентироваться» [13]. 

В конце ХХ века уже не заявляла о себе проблема создания новых медиаобъектов, 
например изображений. Новая проблема заключалась в поиске уже существующих. 
Иначе говоря, если вам требуется определенное изображение, вероятнее всего, оно уже 
где-то есть, но вполне возможно, что проще создать его с нуля, чем найти существующее. 
Сначала мы разработали технологии для автоматизации производства медиа: фото- и 
кинокамеру, устройства, записывающие аудио и видео, и т. д. Эти технологии позволили 
нам за 150 лет накопить беспрецедентное количество медиаматериала: фото-, кино- и 
аудиоархивы. Затем это привело к следующей стадии эволюции медиа — созданию 
технологий для хранения, организации медиа и обеспечения доступа к ним. Компьютер 
обеспечил базу для развития этих новых технологий: цифровых медиаархивов, 
гиперссылок, иерархических файловых систем и других способов индексации цифрового 
материала, а также софта для поиска по содержанию. Таким образом, автоматизация 
доступа к медиа — это следующая логическая стадия процесса, который был запущен с 
появлением первой фотографии. 

4. Изменяемость 

Объект новых медиа (например, веб-сайт) не является чем-то зафиксированным раз и 
навсегда и может существовать в различных (потенциально бесконечных) версиях. Это 
еще одно следствие дискретного представления информации (1) и ее числового 
кодирования (2) [14]. 

Создание старых медиа требовало участия человека, который вручную собирал 
текстовые, визуальные и аудиоэлементы (или их комбинации) в определенной 
последовательности. Эта последовательность хранилась на материальном носителе, и ее 
порядок был определен раз и навсегда. С оригинала можно было сделать бессчетное 
количество копий, и, в полном соответствии с логикой индустриального общества, все 
они были идентичными. Новые медиа же, напротив, характеризуются изменяемостью. 

Медиаэлементы, хранящиеся в цифровом виде, а не на каком-либо постоянном 
носителе, не утрачивают свою сущность и могут быть объединены в любую 
последовательность с помощью программного управления. В то же время, поскольку 
сами элементы характеризуются дискретной структурой (например, изображение 


представляет собой множество пикселей), они также могут быть созданы и настроены на 
лету. 

Таким образом, логика новых медиа соответствует постиндустриальной логике 
«производства по требованию» (ргодисНоп оп детапа), и доставки «точно в срок» (1$ ш 
ите), которые сами стали возможны благодаря использованию цифровых компьютеров и 
компьютерных сетей на всех стадиях производства и распространения. Здесь «индустрия 
культуры» оказалась впереди других индустрий. Идея о том, что клиент может 
определить точные характеристики своего автомобиля в шоу-руме, после чего данные 
передаются на завод, и спустя несколько часов новая машина будет доставлена клиенту, 
остается мечтой, но в случае компьютерных медиа это реальность. Поскольку одно и то 
же устройство используется и как шоу-рум, и как фабрика, и поскольку медиа 
существуют не как материальные объекты, а как данные, которые можно отправлять по 
проводам со скоростью света, результат может быть получен мгновенно. 

Вот некоторые конкретные случаи реализации принципа изменяемости: 

4.1. Элементы медиа хранятся в базах медиаданных. Объекты для конечного 
пользователя, различные по форме и содержанию, могут быть сгенерированы из этих баз 
как заранее, так и по запросу. 

4.2. Появляется возможность разделить уровни «контента» (данных) и интерфейса. 
При этом для одних и тех же данных могут быть созданы разные интерфейсы. Объект 
новых медиа можно определить как интерфейс (или несколько интерфейсов) для базы 
мультимедийных данных. 

4.3. Компьютерные программы могут оперировать информацией о пользователе для 
автоматической кастомизации медиаконтента, а также для создания самих элементов. 
Например, веб-сайты учитывают информацию о типе «железа» и браузере или сетевой 
адрес пользователя при автоматической настройке страницы, которую увидит посетитель; 
интерактивные компьютерные инсталляции оперируют информацией о движениях 
пользователя, чтобы генерировать звуки, формы или контролировать поведение 
персонажей. 

4.4. Частное проявление предыдущего пункта — разветвленная интерактивность 
(иногда ее называют интерактивностью с помощью меню). Программа предоставляет 
пользователю возможность выбирать из нескольких вариантов. В этом случае 
информация, которую использует программа, — результат когнитивного процесса 
пользователя (а не его сетевой адрес или положение его тела). 

4.5. Гипермедиа. Составляющие документ мультимедийные элементы соединены 
гиперссылками. В этом случае элементы и структура разделены, чего не наблюдалось в 
традиционных медиа. Переходя по ссылкам, пользователь получает индивидуальную 
версию документа. (Всемирная сеть — это конкретная реализация гипермедиа, 
где элементы распределены по всей сети.) 

Итак, новые медиа представляют собой соединение двух различных историй: 
медиатехнологий и цифровых вычислений. Важно отметить, что оно осуществляется в 
два этапа. Сначала медиаобъекты переводятся из аналогового формата в цифровой код. 
Это превращает их в числовые данные, которые теперь могут подвергаться всем 
операциям, совершаемым компьютером. Здесь вступают в действие два самостоятельных 
понятия: цифровой код и вычисления. Новые медиа включают в себя две различные 
концепции: дигитального и вычислительного, которые соотносятся с идеями числового 
(дискретного) представления и компьютера (вычислительного устройства). Одна не 
предполагает другую: например, аналоговый компьютер может работать с непрерывными 
данными. Но поскольку цифровые медиа в действительности чаще всего используются в 
связке с компьютерами, две идеи были объединены. И все же набор качеств, которые 
относят к цифровым медиа, достаточно эклектичен и отсылает как к идее цифрового 
кодирования, так и к идее машинных вычислений. Однако идея дигитальности сама по 


себе вряд ли может отделить новые медиа от старых. Ключевым является не то, что медиа 
переводятся в цифровой код, а то, что в результате этого перевода с ними можно 
производить вычисления. С этой точки зрения термин цифровые медиа, ставший 
популярным в 1990-х годах, является не слишком удачным, поскольку он отражает лишь 
одну идею — идею дигитализации. Более подходящим был бы термин компьютерные 
медиа или, даже лучше, программируемые медиа. 

Из всех этих четырех принципов именно принцип изменяемости, возможно, является 
наиболее интересным. С одной стороны, как конкретные примеры этого принципа можно 
рассматривать такие популярные формы новых медиа, как разветвленная 
интерактивность и гипермедиа. С другой стороны, он демонстрирует, насколько тесно 
изменения в медиатехнологиях связаны с изменениями в социальном порядке. Так же, как 
логика старых медиа соответствовала логике индустриального массового общества, 
логика новых медиа соответствует логике постиндустриального общества 
индивидуального выбора. В индустриальном массовом обществе предполагается, что все 
пользуются одинаковыми благами и разделяют одинаковые убеждения. Это также 
соответствовало и логике медиатехнологий. Медиаобъект собирали на фабрике медиа 
(например, в голливудской студии). Миллионы идентичных копий производились и 
распространялись среди всех граждан. Гелерадиовещание, распространение кинопленок, 
технологии печати — все следовало этой логике. 

В постиндустриальном обществе каждый гражданин может создать свой собственный 
стиль жизни и «выбрать» идеологию из большого (но не бесконечного) числа вариантов. 
Вместо того чтобы навязывать одинаковые объекты/информацию большой группе, рынок 
пытается ориентироваться на каждого отдельного индивида. Логика технологий новых 
медиа абсолютно точно отражает эти новые условия. Каждый посетитель сайта 
автоматически получает свою собственную версию страницы, созданную на лету из базы 
данных. Каждый читатель гипертекста получает свою версию текста. Каждый зритель 
интерактивной инсталляции получает свою версию работы. И так далее. В этом смысле 
технологии новых медиа предстают как наиболее полная реализация утопии идеального 
общества, состоящего из уникальных индивидов. Объекты новых медиа гарантируют 
пользователям, что их выбор, а соответственно и лежащие за ним мысли и желания, 
уникальны, а не заранее запрограммированы и распределены между всеми. Словно 
пытаясь загладить вину за участие своих предшественников во всеобщем уравнивании, 
сегодняшние преемники станка Жаккара, табулятора Холлерита и кинокомпьютера Цузе 
убеждают нас в том, что все мы — разные. 


ЖЖ 
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Кризис медиума 

В последней трети ХХ века различные культурные и технологические новшества 
лишили смысла одно из ключевых понятий современного искусства — понятие медиума. 
Однако никакой новой типологии, которая бы пришла на смену той, что была основана на 
этом понятии и делила искусство на живопись, графику, скульптуру, кино, видео и другие 
виды, не возникло. Предположение о том, что художественные практики можно четко 
разделить в зависимости от их медиумов, до сих пор лежит в основе организации музеев, 
художественных школ, финансирующих культуру организаций и других культурных 
институций, хотя такая система больше не отражает реальное функционирование 
культуры. 

Этот концептуальный кризис является результатом нескольких процессов. 

Начиная с 1960-х годов активно развиваются новые художественные формы: 
появляются ассамбляж, хэппенинг, инсталляция, перформанс, акционизм, 
концептуальное, процессуальное, интермедиальное и временное искусства и т. д. 
Появление этих форм поставило под угрозу складывавшуюся веками типологию, 
базирующуюся на различении медиумов (живопись, скульптура, рисунок), просто в силу 
их количества. К тому же, если традиционная типология была основана на используемых 
в художественной практике материалах, новые медиумы позволяли использовать 
различные материалы в произвольных сочетаниях (инсталляция), либо ставили целью 
дематериализовать арт-объект (концептуальное искусство). Поэтому новые формы не 
являлись медиумами в традиционном понимании этого термина. 

Другая мутация понятия медиума связана с новыми технологическими формами 
культуры, которые постепенно добавлялись к старой типологии. Фотография, кино, 
телевидение и видео постепенно вводились в учебные планы художественных школ, для 


них начали создавать специальные отделы в музеях. Традиционные (доцифровые) 
фотографию и кинематограф все еще можно было рассматривать как отдельные медиумы 
в классическом понимании этого слова: они использовали разные материальные носители 
(фотобумагу и кинопленку). Кроме того, эти искусства вписываются в две 
фундаментальные для традиционной эстетики категории: пространственные искусства 
(живопись, скульптура, архитектура) и темпоральные искусства (музыка, танец). 
Поскольку фотография работала с неподвижными, а кинематограф — с движущимися 
изображениями, и поскольку они использовали разные материалы, добавление двух этих 
форм в типологию художественных медиумов не несло никакой угрозы самой концепции 
медиума. 

С телевидением и видео было сложнее. И телевидение (массмедиум), и видео 
(артмедиум) использовали одну и ту же материальную основу (электронный сигнал, 
который может быть передан в режиме реального времени или записан на пленку) и 
предполагали одни и те же условия восприятия (телеэкран). Относить их к разным 
медиумам можно было только по социальным и экономическим причинам, т. е. 
различной численности аудитории, механизмам распространения (по телевизионной сети 
или на музейных и галерейных выставках), а также по числу копий каждой 
пленки/программы. 

Противопоставление видео и телевидения — лишь один из примеров того, как старая 
концепция медиума, использующаяся в традиционной эстетике для описания различных 
искусств, вступает в конфликт с новой оппозицией, принципиально важной для ХХ века: 
искусство — массовая культура. В то время как система искусства работала с 
уникальными или малочисленными объектами, массовая культура распространяла 
множество копий, нуждаясь, таким образом, в специальных механических и электронных 
технологиях воспроизведения и трансляции. После того как художники начали 
использовать технологии массмедиа для создания произведений искусства (будь то 
фотография, кино, радиоискусство, видеоарт, или цифровое искусство), экономика арт- 
сферы стала навязывать им использование технологий массового производства в 
противоположных целях: для создания ограниченного числа копий для коллекционеров. 
Поэтому, приходя в современный художественный музей, мы видим такие концептуально 
противоречивые объекты, как «видеозапись, выпущенная в шести экземплярах» или 
«РУО, выпущенный в трех экземплярах». Постепенно социологические различия в 
механизмах распространения (телевизор или музей), наравне с уже описанными 
социологическими различиями (размер аудитории и места демонстрации), стали более 
важным критерием дифференциации медиумов, чем используемые материалы или 
условия восприятия художественной работы. Иными словами, социология и экономика 
взяли верх над эстетикой. 


Цифровая атака 


Наряду с развитием массмедиа на протяжении ХХ века и распространением новых 
художественных форм в 1960-х годах, было еще одно событие, поставившее под угрозу 
традиционную идею медиума: цифровая революция 1980—1990-х. В это время 
большинство способов создания, хранения и распространения массмедиа стало цифровым 
(или стало сочетать в себе электронные и цифровые технологии), и эти инструменты 
были взяты на вооружение художниками. Это привело к кризису как традиционной 
категоризации, основанной на материалах и условиях восприятия, так и новых, более 
современных видов категоризации, основанных на моделях распространения, методах 
восприятия/экспонирования и схемах оплаты. 

На материальном уровне переход к цифровой репрезентации и общему набору 
инструментов для модификации/редактирования, применимых к большинству медиа 
(копировать, морфировать, интерполировать, применить фильтр и др.) и заменивших 


традиционные обособленные художественные инструменты, стер различия между 
фотографией и живописью (в случае с неподвижным изображением) и между фильмом и 
анимацией (в случае с движущимся изображением) | 1 |. На уровне эстетики благодаря 
интернету новым стандартом коммуникации стал мультимедийный документ (файл, 
который совмещает и смешивает разные медиа: текст, фотографию, видео, графику, звук). 
Цифровые технологии также значительно упростили реализацию уже существующей 
культурной практики создания разных версий одного и того же проекта для разных 
медиумов, сетей распространения и аудиторий. Когда художник создает принципиально 
отличающиеся версии одного арт-объекта (например, интерактивную и неинтерактивную 
версии проекта или 35-миллиметровую и интернет-версии фильма), традиционная связь 
между арт-объектом и его медиумом разрушается. С точки зрения дистрибуции интернет 
размыл (по меньшей мере в теории) границу между массовым распространением, которое 
прежде ассоциировалось с массовой культурой, и ограниченным распространением, 
которое было закреплено за небольшими субкультурами и системой искусства (на один и 
тот же веб-сайт может зайти один человек, десять человек, десять тысяч, десять 
МИЛЛИОНОВ ИТ. Д.). 

Это лишь несколько примеров того, как традиционное понятие медиума оказывается 
неприменимым к постцифровой, постинтернет- культуре. Тем не менее, несмотря на 
очевидную неадекватность концепции медиума для описания современной культурной и 
художественной реальности, она продолжает существовать. И продолжает существовать 
она исключительно по инерции, а также потому, что создать более подходящую 
концептуальную систему проще на словах, чем на деле. Поэтому вместо того, чтобы 
полностью отказаться от типологии медиумов, мы продолжаем добавлять все новые и 
новые категории: «новые жанры», интерактивные инсталляции, интерактивное искусство, 
нет-арт. Проблема новых категорий состоит в том, что они создаются по старой модели 
идентификации художественных практик на основании используемых материалов, — 
только теперь речь идет не о разных материалах, а о разных технологиях. 

Например, все искусство в сети, т. е. искусство, которое использует интернет- 
технологии, собрано в единую категорию нет-арт (речь идет о ситуации конца 1990-х 
годов). Но почему мы должны полагать, что все арт-объекты, основанные на сетевых 
технологиях, должны иметь что-то общее в том, как их воспринимают зрители? [2] 
Спорным является и понятие интерактивного искусства. Как я уже писал ранее, «концепт 
интерактивность, используемый в связи с компьютерными медиа, тавтологичен, 
поскольку современный интерфейс человек-компьютер интерактивен по определению. В 
отличие от более ранних интерфейсов вроде пакетной обработки данных интерфейс 
человек-компьютер позволяет пользователю взаимодействовать с компьютером в режиме 
реального времени, управляя информацией, которая появляется на экране. Как только 
объект представлен на компьютере, он автоматически становится интерактивным. Таким 
образом, называть компьютерные медиа интерактивными бессмысленно — делая это, мы 
попросту констатируем самый базовый факт о компьютерах» [3]. 

Не стоит думать, что все произведения искусства, использующие интернет- 
технологии, принадлежат к нет-арту. Точно так же ошибкой было бы поместить все арт- 
объекты, в которых используются — или, точнее, которые накладываются на — 
современные компьютерные интерактивные технологии, в единую категорию 
интерактивное искусство. Мы можем выдвинуть предположение о существовании 
отдельного медиума нет-арта, использующего интернет-технологии, но ошибочно было 
бы автоматически определять все искусство, для создания которого используются 
сетевые технологии, как нет-арт. 


Программа постмедиальной эстетики 


В рамках данной статьи я не претендую на то, чтобы разработать новую концептуальную 
систему, которая заменит старый дискурс о медиуме и сможет более адекватно описать 
постцифровую, постинтернет-культуру. Тем не менее я могу предложить определенное 
направление для развития такой системы. Это направление включает в себя замену 
понятия медиума новыми понятиями из сферы компьютерной и интернет-культуры. Их 
можно использовать как буквально (в случае коммуникации, опосредованной 
компьютером), так и метафорически (применительно к докомпьютерной культуре). Вот 
как может выглядеть подобная постмедиальная эстетика: 

1. Постмедиальной эстетике необходимы категории, которые могут описывать то, как 
культурные объекты организуют данные и структурируют опыт взаимодействия 
пользователя с этими данными. 

2. Категории постмедиальной эстетики не должны быть привязаны к определенным 
способам хранения или передачи данных. Например, вместо того чтобы рассматривать 
произвольный доступ (гап4от ассез$) как характеристику, присущую исключительно 
компьютерным медиа, мы должны рассматривать его как общую стратегию организации 
данных (которая может быть применима к традиционным книгам или архитектуре), а 
также, отдельно, как стратегию поведения пользователя [4]. 

3. Постмедиальная эстетика должна использовать новые понятия, метафоры и 
операции эпохи компьютеров и интернета, такие как информация, данные, интерфейс, 
пропускная способность, поток, хранилище, рип, сжатие (сотрге$$1оп) и др. Мы можем 
использовать эти понятия как в описании нашей постцифровой, постинтернет-культуры, 
так и в разговоре о культуре прошлого. Последнее предложение представляется мне не 
только интересным интеллектуальным упражнением, но и тем, что мы должны сделать 
исходя из этических соображений: чтобы увидеть старую и новую культуру как единый 
континуум; чтобы обогатить новую культуру использованием эстетических техник 
старой культуры; чтобы сделать старую культуру понятной для новых поколений, 
которые оперируют понятиями, метафорами и технологиями компьютерной и интернет- 
эпохи. В качестве примера такого подхода мы можем охарактеризовать Джотто и 
Эйзенштейна не только как живописца эпохи Проторенессанса и режиссера-модерниста, 
но и как значимых информационных дизайнеров. Первый изобрел новые способы 
организации данных на статичной двумерной плоскости (на отдельной панели) и в 
трехмерном пространстве (на нескольких панелях в здании церкви). Второй же создал 
техники организации данных во времени и координирования данных из разных 
«медиатреков» (изображение, звук) для достижения максимального воздействия на 
зрителя. Таким образом, будущая книга об информационном дизайне может включать в 
себя Джотто и Эйзенштейна наряду с такими именами, как Алан Кэй и Тим Бернерс-Ли 
[5]. 


1. Фрагмент схемы Сергея Эйзенштейна к фильму «Александр Невский» (1938) 
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4. Традиционное понимание медиума подчеркивает физические свойства 
определенного материала и его репрезентационные возможности, т. е. взаимоотношения 
между знаком и референтом. Как и вся традиционная эстетика, эта концепция заставляет 
нас сконцентрироваться на замысле автора, содержании и форме работы, а не на 
пользователе. И наоборот, когда мы думаем о культуре, медиа и отдельных работах как о 
софте, это позволяет нам сосредоточиться на доступных пользователю операциях 
(которые в приложениях называются командами). Внимание переносится на возможности 
и поведение пользователя. Вместо того чтобы использовать в рассуждениях о медиа 
прошлого понятие медиума, мы могли бы заменить его понятием софта, т. е. задать 
вопрос о том, какие информационные операции доступны пользователю в том или ином 
медиуме [6]. 

5. Как теоретики культуры, так и разработчики программного обеспечения проводят 
различие между идеальным читателем/пользователем, предполагаемым 
текстом/программой, и реальными стратегиями чтения/использования, применяемыми 
реальными пользователями. Постмедиальная эстетика должна создавать подобное 
разграничение для всех культурных медиа — или, иначе, всего культурного софта. 
Доступные операции и «правильный» способ применения конкретного культурного 
объекта отличаются от того, как люди используют его в действительности. (На самом 
деле базовый механизм современной культуры состоит в систематическом «неверном 
использовании» культурного софта, примером которого может служить скретчинг в О.- 
культуре или создание ремиксов старых треков.) 

6. Пользовательские тактики ((асйдие — термин Мишеля де Серто) не являются 
уникальными или случайными. В них существуют определенные закономерности. Я бы 
хотел ввести еще один термин — информационное поведение — для описания 
специфического способа получения доступа к информации и ее обработки, 
реализующегося в конкретной культуре. Мы не должны априори полагать, что то или 
иное информационное поведение является «подрывным» и бросает вызов 
существующему порядку. Оно может быть как очень близко к «идеальному» поведению, 
которое предлагает программа, так и отличаться от него просто потому, что данный 
пользователь — новичок и еще не освоил оптимальные способы работы с программой. 








Информационное поведение 


Введение термина программное обеспечение (или софт) как общего понятия для изучения 
феноменов культуры переносит внимание с медиа/текста на пользователя. Точно так же 
термин информационное поведение может помочь нам увидеть аспекты культурной 
коммуникации, которые ранее оставались невидимыми. Эти аспекты существовали 
всегда, но именно в информационном обществе они стали заметной частью нашей жизни, 
и поэтому теперь мы «заметили» их теоретически. Сегодня наша каждодневная жизнь 
включает информационную деятельность в буквальном смысле этого слова: проверку 
электронной почты и ответ на письма, проверку сообщений на телефоне, организацию 
компьютерных файлов и фотографий, использование поисковых систем и т. д. Подобные 
способы взаимодействия с информацией можно считать примерами информационного 
поведения. Согласно парадигме когнитивной науки, само человеческое восприятие и 
познание понимается как обработка информации, но я говорю о другом. Хотя каждое 
действие, в котором участвуют визуальное восприятие или память, можно рассматривать 
как обработку информации, сегодня нам приходится намного больше видеть, 
фильтровать, вспоминать, сортировать и планировать. Иными словами, повседневная 
жизнь и работа в нашем обществе в значительной степени вращаются вокруг новых типов 
поведения, которые включают в себя поиск, извлечение, обработку и передачу больших 
объемов информации (часто количественной) в самых различных ситуациях: от 
использования транспортных сетей до работы в интернете. Информационное поведение 
составляет важную часть индивидуальности: это определенные тактики, применяемые 
отдельным человеком или группой для выживания в информационном обществе. Наша 
нервная система развивалась определенным образом, чтобы мы могли фильтровать 
информацию из окружающей среды и успешно в ней существовать. Так и мы, для того 
чтобы выжить в информационном обществе, вырабатываем определенное 
информационное поведение [77]. 

Как и другие понятия информационного общества, такие как программы, данные или 
интерфейс, понятие информационного поведения может применяться за пределами 
специфичной современной информационной деятельности, например использования 
систем интернет-поиска или метро. Его можно расширить до сферы культуры и 
применять к описанию прошлого. Например, можно рассматривать информационное 
поведение при чтении литературы, посещении музея, просмотре телевизионных передач 
или выборе музыкального трека. Применительно к прошлому понятие информационного 
поведения подчеркивает, что вся культура состояла не только в репрезентации 
религиозных верований, восхвалении великих правителей, создании красоты, 
легитимизации господствующих идеологий и т. п., — культура также включала 
обработку информации. Художники разрабатывали новые техники кодирования 
информации, в то время как слушатели, читатели и зрители создавали собственные 
когнитивные методы ее извлечения. История искусств заключается не только в 
стилистических инновациях или попытках представить реальность, человеческую судьбу, 
взаимоотношения общества и личности — она также включает историю новых 
информационных интерфейсов, созданных художниками, а также новых типов 
информационного поведения, созданных пользователями. Когда Джотто и Эйзенштейн 
разрабатывали новые способы организации информации в пространстве и времени, их 
зрителям приходилось изобретать соответствующие способы навигации в новых 
информационных структурах — точно так же, как сегодня каждый выпуск новой версии 
знакомой программы заставляет нас изменять информационное поведение, которое мы 
выработали для взаимодействия с ее предыдущей версией. 

Окруженные информационными интерфейсами в повседневной жизни, некоторые 
теоретики культуры и художники уже начали рассуждать о культуре прошлого в 
терминах информационных структур. Хорошим примером здесь может служить 
внимание, которое получила книга Френсис Йейтс «Искусство памяти» [8] в обсуждениях 


новых медиа. Мое предложение более общее. Я предлагаю применять такие понятия, как 
информационный интерфейс и информационное поведение, к любому объекту культуры 
прошлого или настоящего. Другими словами, любой культурный объект отчасти 
напоминает смартфон. 


Софт как новый объект культурного анализа 


Какое место постмедиальная эстетика, которую я кратко описал выше, занимает в 
истории развития культурной теории за последние десятилетия? Если мы понимаем 
культурную коммуникацию как цепочку автор — текст — читатель (или, согласно теории 
информации, отправитель — сообщение — получатель), эту историю можно кратко 
охарактеризовать как постепенный перенос фокуса внимания сначала с автора на текст, а 
затем — с текста на читателя. Традиционная критика была сосредоточена на авторе, 
его/ее творческом замысле, биографии и психологии. В конце 1950-х структурализм 
перенес фокус внимания на сам текст, анализируя его как систему знаков. После 1968 
года критическая энергия постепенно переходит от текста к читателю. Это изменение 
вызвано рядом причин. С одной стороны, стало очевидно, что структуралистский подход 
имеет жесткие ограничения: рассматривая каждый отдельный культурный текст как 
отражение общей системы, структурализм не мог объяснить, что делает текст 
уникальным и важным для культуры [9]. С другой стороны, в 1968 году, после неудачи 
студенческих движений, стремившихся изменить общество, стало очевидно, что 
структуралистский подход непреднамеренно поддерживал статус-кво, Закон, Систему. 
Поскольку структурализм стремился описывать все как закрытую систему и рассматривал 
каждый отдельный текст как пример более общей «глубинной структуры», структурализм 
оказался на стороне нормы, а не исключения; большинства, а не меньшинства; 
существующего общества, а не того общества, которое могло бы существовать. 

Перенос внимания с текста на читателя принял разные формы и может быть разделен 
на два этапа. На первом этапе абстрактный текст структурализма заменяется абстрактным 
идеальным читателем, как это происходит в психоанализе (Юлия Кристева) и основанной 
на психоанализе критике, аппаратной теории кино (аррагава$ Феогу) или теории рецепции 
(гесерноп ШФеогу) в литературоведении. К 1980 году абстрактный читатель заменяется 
реальным читателем или сообществом читателей, как современным, так и историческим. 
В качестве примеров этого подхода можно назвать этнографическое изучение читателей 
популярной современной литературы, исследование исторического восприятия раннего 
кинематографа и т. д. 

Пройдя по траектории от автора к тексту и далее к читателю, куда теперь может 
направиться теория культуры? По моему мнению, нам необходимо обновить 
информационную модель (автор — текст — читатель), добавив в нее два компонента и 
перенеся на них наше критическое внимание. Я имею в виду софт (программное 
обеспечение — в прямом и метафорическом смыслах), используемый автором и 
читателем. Современный автор (отправитель) использует программное обеспечение для 
создания текста (сообщения), и эти программы влияют или даже формируют создаваемые 
тексты: от Фрэнка Гери, который полагается на специальные компьютерные программы в 
архитектурном проектировании, до фотографа Андреаса Гурски, использующего 
РроюзБор, и диджеев, работа которых зависит от реальных программ и/или программ в 
метафорическом смысле — операций, которые доступны на вертушках, в микшерах и 
другом электронном оборудовании. Точно так же современный читатель (получатель) 
зачастую взаимодействует с текстом, используя реальные компьютерные программы, 
такие как веб-браузер, Уоич'ТиБе Р]ауег и т. д. Эти программы определяют восприятие 
читателем текста и даже то, что представляет собой сам текст: набор отдельных дорожек 
в аудиопроигрывателе или мультимедиа-компоненты и гиперссылки, представленные в 
виде интернет-страницы. 


До настоящего момента я говорил о модели коммуникации, которая предложена в 
информационной теории, как состоящей из трех компонентов: отправитель, сообщение и 
получатель. На самом деле эта модель является более сложной, она содержит семь 
элементов: отправитель, код отправителя, сообщение, получатель, код получателя, канал 
и шум. Согласно этой модели, отправитель кодирует сообщение, используя свой 
собственный код; затем сообщение передается по каналу коммуникации; в процессе 
передачи на него влияет шум. Получатель, в свою очередь, при помощи своего кода 
декодирует это сообщение. Из-за ограниченной пропускной способности канала, наличия 
шума и возможных расхождений в кодах отправителя и получателя последний может 
получить сообщение, отличное от того, которое исходило от первого. Теория информации 
изначально была разработана для практического использования в индустриях 
телекоммуникации (передача телефонного и телевизионного сигнала) в 1920—1930-х 
годах, и в дальнейшем — для шифрования и дешифровки секретных сообщений во время 
Второй мировой войны. Ее задачей было помочь инженерам в создании более 
совершенных коммуникационных систем. 

Проблемы возникают, когда коммуникационную модель принимают за модель 
культурной коммуникации. Разрабатывавшие ее инженеры были заинтересованы в 
точности передачи сообщения, однако в культурной коммуникации сама по себе идея 
точной передачи опасна: предполагать, что коммуникация успешна только в том случае, 
если получатель точно воссоздает сообщение отправителя, означает придавать большую 
важность смыслам отправителя, чем смыслам получателя. Можно сказать, что 
культурные исследования (Си[ига| 5баЧ1ез) [10], концентрирующиеся на «неверных» 
использованиях доминантной культуры, впадают в другую крайность: они предполагают, 
что имеет смысл изучать только «неуспешную» коммуникацию. 

В коммуникационной модели код и канал (последний соответствует понятию медиум 
в его традиционном смысле) понимаются как пассивные, механические компоненты: это 
просто инструменты, необходимые для передачи уже существующего сообщения. Для 
этой модели идеалом является устная или визуальная коммуникация без посредников (два 
человека, разговаривающие друг с другом, или человек, который видит реальность). В 
этих случаях сообщение передается полностью. Модель должна учитывать коды и каналы 
лишь потому, что необходимо обеспечить подобную коммуникацию на расстоянии. 

Добавляя к этой модели программное обеспечение автора и читателя, мы 
подчеркиваем активную роль технологии (того, что в оригинальной модели называется 
кодами и каналом) в культурной коммуникации. Программное обеспечение автора 
определяет то, как она/он понимает медиум, в котором работает; соответственно, все это 
играет ключевую роль в формировании конечной версии техно-культурного текста. 
Читатель также получает доступ к этому тексту с помощью интерфейса программы. Этот 
интерфейс формирует ее/его понимание текста: какой тип данных содержит текст, как он 
организован, что можно и что нельзя сообщить. К тому же софт-инструменты (опять же, 
реальные компьютерные программы или программы в метафорическом смысле, т. е. 
набор операций с данными и метафор, который используется теми или иными медиа) — 
это то, что позволяет авторам и пользователям создавать новые культурные тексты из уже 
существующих. Здесь снова можно привести в пример работу диджеев. 

В чем состоит опасность теории постмедиальной эстетики, контуры которой я 
обозначил в этой статье’? Как и любая другая парадигма, она выделяет одни направления 
исследования в ущерб другим. Описание истории культуры как истории 
информационных интерфейсов, информационного поведения и софта может быть 
продуктивным, но в то же время может отвлечь наше внимание от других аспектов 
культуры. Самой очевидной опасностью является то, что, делая акцент на 
информационных структурах и информационном поведении, постмедиальная эстетика 


придает важность когнитивному измерению культуры, не предлагая способов 
осмысления аффекта. 

Теория культуры пренебрегает аффектом с конца 1950-х, когда под влиянием 
математической теории коммуникации Роман Якобсон, Клод Леви-Стросс, Ролан Барт и 
др. начали рассматривать культурную коммуникацию исключительно как кодирование и 
декодирование сообщений. Барт начинает свою известную статью 1961 года 
«Фотографическое сообщение» следующими словами: «Газетная фотография 
представляет собой сообщение. Это сообщение образовано источником-отправителем, 
каналом передачи и точкой получения. Источник-отправитель — это редакция газеты, 
группа техников, из которых одни делают снимок, другие выбирают его, верстают, 
обрабатывают, а третьи снабжают заголовком, подписью и комментариями. Точка 
получения — это публика, читающая газету. А канал передачи — это сама газета...» 11. 

Хотя позднее теоретики культуры избегали настолько прямого применения терминов 
математической теории коммуникации к культурной коммуникации, на протяжении 
десятилетий наследие этого подхода оставалось общей парадигмой культурной теории, 
которая даже сегодня по-прежнему концентрируется на понятиях текст и чтение. 
Рассматривая любые культурные объект/ситуацию/процесс как «текст», который 
«прочитывает» аудитория, культурная теория делает акцент на информационном и 
когнитивном аспектах культуры — в ущеро аффективному, эмоциональному и 
перформативному. На первый план выходит информация, а ощущение и эстетическое 
переживание отходят на второй. Другие влиятельные подходы в теории культуры в 
последние десятилетия также этим пренебрегали. Ни психоанализ Лакана (1960-е), ни 
когнитивный подход в литературоведении и теории кино (1980-е) не имели дело с 
аффектом. 

Постмедиальная, или информационная, эстетика, которую я здесь кратко описал, 
также не может напрямую работать с аффектом, поэтому данный подход должен быть 
дополнен другими парадигмами. Однако важно помнить, что мы не можем полностью 
оценить современную культуру, изучая, например, информационного работника, 
трудящегося за своим компьютером, и при этом игнорируя музыку, которую он в этот 
момент слушает на ПО в своем телефоне. Другими словами, нельзя анализировать только 
офис и игнорировать ночной клуб. 

И офис и клуб зависят от одной и той же машины (цифрового компьютера). Их 
отличает лишь программное обеспечение. В офисе мы используем браузеры, базы 
данных, таблицы, инструменты для написания кода, средства автоматизации и другие 
приложения. В клубе диджей использует ПО для сведения треков либо при создании 
музыки прямо на сцене, либо при проигрывании треков, которые до этого были записаны 
в студии. 

Если одну и ту же машину обработки данных можно использовать и для 
рациональных когнитивных процессов (например, для написания компьютерного кода), и 
для создания аффективной танцевальной музыки в клубе, это означает, что цифровые 
данные не относятся лишь к одной стороне мышления. Если в нашем обществе потоки 
информации приводят в движение как мозг, так и тело, возможно, информационная 
эстетика в конечном итоге научится интерпретировать и аффективные стороны 
информации. 


ЖЖ 


[1] Более подробно об этом переходе см.: Шеу Мапоутсь, О1еца! Сшета апа Фе Н1$огу 
ога Моушз [пасе ш 'ТБе Гапоцаее о{ №е Меда, Сатбл4эе, МА: 'ТБе МПТ Ргез$, 2001, р. 
293-308. 

[2] За пределами искусства интернет можно рассматривать как набор различных 
медиумов с общими технологиями и коммуникацией, но разных по своей сути. Например, 


интернет, используемый для отправки электронной почты, — это один медиум, 
коммерческие веб-сайты — другой. 

[3] Геу МапоутсВ, Ор. си. р. 55. 

[4] Прекрасным примером новой категории, которая учитывает современные 
компьютерные тексты, но может быть применима и для описания докомпьютерных, 
является термин эргодическая литература, введенный Эспеном Аарсетом в кн.: Езреп 
Аагзей, Субецехе: Регзресиуез оп Егоод1с Гиегаиге, Ваатоге: Лобп$ Норюиз$ Ишуег$ у 
Ргез$, 1997. 

[>] Алан Кэй — изобретатель интерактивного графического интерфейса; Тим 
Бернерс-Ли — изобретатель \\еБ. 

[6] Можно провести параллель с траекторией развития культурной теории за 
последние несколько десятилетий. Начиная с 1970-х годов теория культуры перенесла 
внимание с автора и текста на стратегии/практики чтения (психоанализ, культурные 
исследования, этнография). Теоретики подчеркивали, что каждый читатель создает свой 
собственный текст и что читатели применяют разные стратегии 
чтения/интерпретации/использования культурных текстов. Параллельно с этим 
дизайнеры компьютерных интерфейсов и программного обеспечения в целом начали 
исследовать то, как пользователи применяют софт и другие виды информационных 
технологий. Первое систематическое тестирование различных вариантов элементов 
интерфейса стало практиковаться в группе Алана Кэя в Хегох РАКС. 

[7] Герт Ловинк, иронически описав фигуру «денди данных», привлек наше внимание 
к тому, что обработка информации стала определяющей культурной характеристикой 
нашего времени. См.: АРПИКМО, ТБе Медла Агсшуе, №ем Уогк: Аитотесдла, 1998. 

[3] Егапсез А. Уаез, ТБе Ап оЕ Метогу, Г.опдоп: Коч еее & Кесап Рац], 1966 (рус. 
пер.: Френсис Йейтс, Искусство памяти, пер. Е. Малышкина, СПб.: Университетская 
книга, 1997). 

[9] Книга Ролана Барта «5//», описывающая пять семиотических кодов в новелле 
Бальзака, непреднамеренно подтверждает поражение структурализма. Барт выбирает 
несколько кодов, функционирование которых он демонстрирует на примере тех или иных 
частей текста. Таким образом, вместо проведения научного структурного анализа он 
пишет интересную, но абсолютно идиосинкразическую работу, посвященную культурной 
интерпретации. Ко]апа Вагфез, 5//,, гапз. Касвага МШег, Мех УогКк: НШ апа УМапо, 1974 
(рус. пер.: Ролан Барт, 5/7, пер. Г. К. Косикова, В. ЦП. Мурат, М.: АЗ Магошег, 1994). 

[10] Направление в изучении массовой культуры, созданное в Англии в 1960-х годах. 

[11] Цит. по: Коапа Вагфез, ТБе Роюэтаршс Меззаее, гапз. 5. Неа, ш Ппазе, Мизс, 
Техь М№ем УогК: НШ апа У№апе, 1977, р. 15 (рус. пер.: Ролан Барт, Фотографическое 
сообщение, пер. С. Н. Зенкина, в кн.: Система Моды. Статьи по семиотике культуры, М.: 
Издательство им. Сабашниковых, 2003, с. 378). 
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В 1990-х годах появился термин, обозначающий весь спектр новых технологий, новых 
выразительных и коммуникационных возможностей, новых форм сообществ и 
социального взаимодействия, возникших вокруг компьютеров и сети интернет, — термин 
цифровой. Всеобщее одобрение он получил в 1996 году, когда руководитель 
медиалаборатории Массачусетского технологического института (МТ) Николас 
Негропонте собрал свои статьи из колонки в журнале У\М1гед в книгу, которую он назвал 
«Быть цифровым» [1 |. И сейчас, много лет спустя, этот термин по-прежнему определяет 
как популярное, так и академическое представление о новых медиа. 

28 августа 2009 года я ввел в поисковую систему Соозе слова «цифровой», 
«интерактивный» и «мультимедиа». По первому запросу было найдено 757 миллионов 
результатов, по второму и третьему — всего лишь 235—240 миллионов. Поиск в системе 
Соозе эспо]аг привел к схожим результатам: по запросу «цифровой» — 10 800 000, 
«интернет» — 4 150 000, «программное обеспечение» — 3 920 000, «интерактивный» — 
2 760 000, «мультимедиа» — 1 870 000. Очевидно, Негропонте был прав: мы стали 
цифровыми. 

Сегодня уже никого не нужно убеждать в том, насколько сильно повлияли интернет, 
веб- и другие сетевые технологии на культуру и общество. Однако мне хотелось бы 
подчеркнуть ключевую роль другого аспекта компьютерной революции, который 
обсуждается не столь широко. Если мы действительно хотим осмыслить формы 
современных медиа и сегодняшнее значение самого термина медиа, этот аспект имеет 
исключительную важность. Речь идет о софте. 

Ни одно из новых средств создания и редактирования медиа, ассоциирующихся с 
компьютерами, не возникает лишь потому, что медиа «являются цифровыми». Все новые 
способы обеспечения доступа к медиа, их распространения, анализа, создания и 
управления ими осуществляются с помощью софта. А значит, они являются результатом 
определенных решений людей, компаний и консорциумов, разрабатывающих 
программное обеспечение: приложения для создания и редактирования медиафайлов, 
кодеки, форматы файлов, а также языки программирования и создания сценариев, 
которые используются для разработки интерактивных и динамических медиапродуктов, 
такие как РНР и Лауазсире. Одни из этих решений определяют основные принципы и 
протоколы современных программных сред: например, использование команд «вырезать» 
и «вставить» во всех программах, работающих в среде графического пользовательского 
интерфейса, включая его новейшие версии (такие, как 1РВопе ОЗ), или принцип 
односторонних гиперссылок, реализованный в технологиях всемирной сети. Другие 
решения касаются конкретных типов ПО (например, графических редакторов) или 
индивидуальных программных пакетов. 

Если определенные средства или метафоры интерфейса, использованные в одном 
приложении (для ПК, мобильных устройств или в веб-приложениях), становятся 
популярными среди пользователей, вскоре они могут появиться и в других программах. 
Например, после того как ЕйсКг добавил в свой интерфейс облако тегов, оно появилось на 
множестве других сайтов. Возникновение определенных средств в приложениях также 
может быть связано с экономикой софт-индустрии: например, когда одна компания- 
разработчик покупает другую, может произойти слияние их программных пакетов. Так, в 
1995 году компания эШсоп Отарыс$ приобрела два пакета ЗО-графики У\У/ауеГош и Апаз и 
объединила их в продукт АПаз|\/ауейгоп(. Крупные компании, такие как Сооз]е и 
КасеБоок, периодически приобретают небольшие и, используя их программные продукты, 
развивают собственные предложения. Например, одно из самых популярных приложений 
Соое — Ооозе Еа\й — основано на ПО, изначально разработанном компанией Кеубое 
[пс., которая была приобретена в 2004 году. 

Зачастую средства, разрабатываемые для одной задачи, позже мигрируют в другую 
сферу. Так, например, произошло с технологиями обработки изображений, созданными 


во второй половине 1950-х годов для анализа фотографий воздушного наблюдения. В 
конце 1980-х эта технология была использована в программе РВоюзВор, редакторе для 
творческой работы с изображениями и художественной обработки фотографий. 

Все эти мутации, ведущие к появлению новых «видов» средств ПО, глубоко 
социальны по своей сути: они не рождаются из индивидуального ума или некоего 
«неотъемлемого» свойства цифрового компьютера или компьютерной сети. Эти 
изменения рождаются из программ, создаваемых группами людей и покупаемых 
огромным количеством пользователей, программ, постоянно улучшающихся и 
дополняющихся разработчиками в целях сохранения их конкурентоспособности на 
рынке. (Например, боозе и КасебооК обновляют свой код несколько раз в день, а СИНив, 
популярный хостинг для проектов по совместной разработке ПО, ежедневно обновляет 
код десятки раз.) 

Итак, средства, инструменты и конвенции медиаприложений не являются результатом 
технологического перехода от аналоговых медиа к цифровым: этот переход делает 
возможным развитие программ для создания медиа, но не ограничивает направления, в 
которых медиа развивались раньше и продолжают развиваться сейчас. Они являются 
результатом идей тех, кто первым осознал эти изменения (Айвена Сазерленда, Дугласа 
Энгельбарта, Алана Кэя и др.); продуктов, создаваемых компаниями-разработчиками и 
сообществами разработчиков открытого ПО; культурных и социальных процессов, 
которые запускаются, когда у софта появляется большое число пользователей; а также 
действия сил и ограничений рынка. 

Это означает, что термины цифровые медиа и новые медиа не слишком хорошо 
схватывают уникальность «цифровой революции». (Мне нравится термин 
медиакомпьютинг, хотя за пределами некоторых сообществ, занимающихся 
компьютерными науками, — в первую очередь в Европе — он практически не 
используется.) Почему эти термины не подходят? Потому что все новые качества 
цифровых медиа находятся не «внутри» медиаобъектов. Скорее они существуют «вовне»: 
в качестве команд и средств софта для создания и просмотра изображений, создания 
анимации, постпродакшна и редактирования, разработки игр и других «видов» софта. 
Изображения, тексты, звуки и другие типы медиа, находящиеся на компьютере, доступны 
благодаря цифровой репрезентации, но возможность конкретных действий с этими 
данными определяется именно программами. Таким образом, хотя мы действительно 
стали цифровыми, реальные формы нашего «цифрового бытия» происходят от 
программного обеспечения. 


Существует только софт 


Признание центрального положения софта в культуре ставит под вопрос еще одно 
фундаментальное понятие эстетики и медиатеории — свойства медиума. Что значит для 
цифрового медиума «иметь свойства»? Например, имеет ли смысл говорить об 
уникальных свойствах цифровых фотографий, электронных текстов, веб-сайтов или 
цифровых карт? 

Ответ на этот вопрос — нет. Разные типы цифрового контента не обладают 
собственными свойствами. То, что мы, пользователи, воспринимаем как свойства 
медиаконтента, создается программами, предназначенными для его создания, 
редактирования, презентации и обеспечения к нему доступа. 

Это относится ко всем приложениям для создания или просмотра медиа — как к 
профессиональным, так и к любительским — от РВоюзВор до браузера на вашем 
телефоне (в том числе к программам, разработанным для конкретных продуктов, 
например РУО-меню или интерфейсу информационного терминала). Поэтому всегда, 
когда мы думаем о «свойствах» цифровых медиа, необходимо помнить, что этот термин 
обозначает средства ПО, созданные для работы с определенными типами медиасреды, 


контента и медиаданных. (Ейскг, позволяющий загружать, систематизировать, 
комментировать изображения, ставить теги и делиться изображениями с другими 
пользователями, — это пример медиасреды; 24-битное растровое изображение, 
сохраненное в формате ЛРЕС, — пример медиаданных.) 

Я не заявляю, что все различия между типами медиа: полутоновыми и векторными 
изображениями, простым и отформатированным текстом, 3ЗО-моделями, анимацией, 
видео, картами, музыкой и др. — полностью определяются софтом. Очевидно, что все эти 
типы медиа обладают разными изобразительными и выразительными возможностями, 
могут по-разному влиять на эмоции, обрабатываются разными органами чувств и 
нейронными сетями мозга, и, скорее всего, соотносятся с различными типами 
когнитивных процессов и ментальных репрезентаций. Эти различия обсуждают уже 
тысячи лет — начиная с античной философии и классической теории эстетики и вплоть 
до современного искусства и нейронаук. Я пытаюсь сказать о другом. С одной стороны, 
интерактивные программы создают новый набор операций, которые можно производить 
со всеми этими типами медиа, — именно их мы, пользователи, воспринимаем как новые 
«свойства» этих медиа. (Примерами могут служить отделение структуры данных от их 
представления, гиперссылки, визуализация и поисковые интерфейсы.) С другой стороны, 
«свойства» отдельного типа медиа могут резко меняться в зависимости от программы, 
которая использовалась для их создания и обеспечения к ним доступа. 

Давайте подробно рассмотрим в качестве примера такой тип медиа, как фотография. 
В аналоговую эпоху печать фотографии «фиксировала» всю имеющуюся информацию, 
которая не менялась в зависимости от того, где человек это фото видит: дома, на выставке 
или в книге. Разумеется, фотограф мог применять разные техники печати (с большей или 
меньшей контрастностью) или использовать разные типы бумаги, но результатом этого 
становился другой материальный объект, т. е. новый фотоотпечаток, содержащий новую 
информацию. (Например, при увеличении контрастности некоторые детали теряются.) 

Что же происходит с цифровой фотографией? Можно сделать снимок с помощью 
профессиональной камеры, мобильного телефона или отсканировать изображение из 
старой книги. В любом случае мы получим файл, содержащий массив пикселей с 
цветовыми значениями и заголовок файла, который определяет размерность изображения, 
цветовой профиль, информацию о камере и характеристиках съемки (например, 
экспозиции) и другие метаданные. Иными словами, мы получаем то, что обычно 
называется «цифровыми медиа», — файл, содержащий числа, которые репрезентируют 
детали какой-либо сцены или объекта. 

Тем не менее, если вы не программист, вы никогда не имеете дело непосредственно с 
числами. Большинство из нас взаимодействует с цифровыми медиа через определенное 
приложение. И в зависимости от используемой программы полностью меняются 
возможности ваших потенциальных действий с определенным цифровым медиафайлом. 
Программы для работы с ММ5-сообщениями на мобильном телефоне могут просто 
отобразить фотографию, присланную другом, и позволить вам переслать ее кому-то 
еще — но ничего больше. 

Бесплатные программы для просмотра/проигрывания медиафайлов (и десктопные, и 
онлайн-приложения) обычно предоставляют больше функций. Например, компьютерная 
версия Расаза 3.0 компании @оо$е позволяет обрезать фотографии, делать 
автокорректировку цвета, убирать эффект красных глаз, применять фильтры (мягкий 
фокус, сияние и т. д.) и другими способами редактировать изображение. Эта программа 
может отображать один и тот же кадр как цветной или черно-белый, не внося при этом 
изменения в исходный цифровой файл. 

Наконец, если я открою ту же самую фотографию в РВоюзВор, у меня появится 
намного больше возможностей. Я могу дать программе команду автоматически заменить 
одни цвета фотографии другими, сделать видимой контурную структуру изображения с 


помощью фильтра выделения краев, размыть его десятками способов, объединить его с 
другой фотографией и произвести сотни других операций. 

Подводя итоги, позволю себе сделать довольно смелое утверждение. «Цифровых 
медиа» не существует. Существует только софт, применяемый к медиа (или «контенту»). 
Другими словами, для пользователей, которые взаимодействуют с медиаконтентом лишь 
через приложения, «свойства» цифровых медиа определяются конкретной программой, а 
не содержатся непосредственно в самом контенте (т. е. в цифровых файлах). 

1. Фотография в Мас ОЗ Ешдег 
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Тобау 9-32 АМ 

Ос 30, 2011111 АМ 


—— № &, 2012 712 РМ 
Мох 3, 2012 1:21 РМ 
Мох 3, 2012 1:20 РМ 
Мох 3, 2012 1119 7М 
Мох 3, 2012 1119 РМ 
Мох 3, 2012 1119 РМ 
Мох }, 2012 1:15 РМ 
Мох 3, 2012 1:14 РМ 
Мох 3, 2012 1:11 РМ 
Мох 3, 2012 1:06 РМ 
Мох 3, 2012 1:06 РМ 


Мох 3, 2012 12:53 РМ 
Мот 3, 2012 12-43 РМ 
Мох 3, 2012 12:33 РМ 
Оси 28. 2012 7.24 РМ 
Ох 28. 2012 637 РМ 
Мох 3, 2012 148 РМ 
Мох \, 2012 1-47 м 
Мох }, 2012 1747 РМ 
Мох }, 2012 1:45 РМ 
Мох }, 2012 1:41 РМ 
Мох }, 2012 1:41 РМ 
Мох }, 2012 1:39 РМ 
Мох 3, 2012 1:39 РМ 
Мох 3, 2012 1:39 РМ 
Мох 3, 2012 1:39 РМ 
Мох 3, 2012 1:38 РМ 
Мох 3, 2012 1:37 РМ 
Мох 3, 2012 1:34 РМ 
Мох 3, 2012 1:34 РМ 
Мот 3, 2012 1:32 РМ 
Мох 3, 2012 1:27 2м 
$ер 25. 2012 1102 гм 
Мох 3, 2012 1:21 РМ 
Аш 1$. 2012 725 АМ 
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3. Та же фотография в РВоюозВор СЪ 5.1 
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Данные, органы чувств, интерфейс 


«Цифровые медиа» стали результатом постепенного развития и аккумуляции большого 
количества программных средств, алгоритмов, структур данных, а также конвенций и 
метафор интерфейса. Эти средства могут различаться по степени универсальности, 
начиная от небольшого числа самых общих (таких, как копировать вставить) и заканчивая 
тысячами команд, созданных для реализации конкретных задач, — к ним относятся, 
например, алгоритмы, использующиеся для генерирования натуралистичных пейзажей, 
или программы, позволяющие извлекать положение камеры из живой съемки для 
корректировки параметров ЗО-модели, которую предполагается в эту запись встроить. 

Огромное количество средств программного обеспечения и их разнообразие не 
позволяют свести «цифровые медиа» к небольшому набору новых свойств. Такое 
упрощение может быть оправдано, только если мы сможем построить иерархию этих 
свойств, рассматривая их как проявление нескольких общих принципов. Периодически 
размышляя об этом в течение десяти лет (начиная со статьи 1999 года «Авангард как 
программное обеспечение» [2], где я впервые попробовал систематизировать эти новые 
средства), в конечном итоге я пришел к выводу, что любая подобная иерархия может нас 
только запутать. Дело в том, что все средства в равной степени меняют сущность 
отдельного типа медиа или их совокупности, к которым они применяются. 

Тот факт, что одни средства могут появляться во множестве программных пакетов, 
созданных для работы с разными типами медиа (можно назвать такие средства 
«независимыми от медиа» [те а дереп4еп(), в то время как другие могут 
использоваться лишь для определенного типа медиа (их можно называть «медиа- 
специфичными» [тела зреслйс] [3]), не умаляет теоретическую важность вторых в 
сравнении с первыми. К примеру, то, что функция зумирования существует в текстовых 
редакторах, медиаплеерах, веб-браузерах, программах для создания анимации, 
программах для 3ЗО-моделирования и т. д., не делает эту функцию более важной по 
сравнению с алгоритмом, написанным для осуществления определенной операции, 
применяемой к определенному типу медиа: например командой зрБегез1те, которая 
изменяет координаты всех точек полигональной ЗО-модели, делая ее форму более 
близкой к сфере. 


Я не думаю, что возможна качественная оценка практического воздействия обеих 
операций из этого примера на культурное производство, позволяющая сделать вывод, 
какая из этих операций важнее. Обе качественно, а не количественно, меняют медиа, с 
которыми работают. И та и другая добавляют новые качества (или «возможности»), 
которых до этого у медиа не было. Документ \У\ога, в котором можно менять масштаб, 
чтобы просматривать сразу несколько страниц, обладает одной «медиальной 
сущностью», документ, в котором это сделать нельзя, — другой. Гочно так же 
возможность максимально приблизить ЗО-модель к сфере — это новый способ работы с 
пространственными формами, который не существовал до появления ЗО-программ. 

В статье «Авангард как программное обеспечение» я разделил все новые средства 
цифровых медиа на четыре типа в зависимости от поддерживаемых функций: доступ, 
генерирование, управление и анализ. Но сейчас даже такая простая классификация 
кажется мне проблемной — отчасти это вызвано эволюцией софта после 1999 года, 
которая привела к постепенной интеграции этих функций. Сейчас, когда пользователь 
выбирает медиафайл на своем ноутбуке, планшете или телефоне, файл автоматически 
открывается в программе для проигрывания/просмотра, большинство из которых 
(УЛпдо\$ Меда Р]ауег, Ои1сКТите Р]ауег для АррЕ и др.) сразу же предлагают несколько 
базовых функций редактирования. Поэтому сегодня мы фактически не можем просто 
получить доступ к медиа, не получая возможности их изменить. (Я имею в виду 
персональные компьютеры и мобильные устройства, а не специализированные 
устройства, созданные исключительно для предоставления доступа без возможности 
менять коммерческий цифровой контент, — например РУО-проигрыватели или МР3З- 
плееры.) 

Как же мы оказались в такой ситуации, где вместо того чтобы 
смотреть/слушать/читать контент, большинство из нас воспринимает его через призму 
приложений? Казалось бы, очевидный ответ — в результате принятия цифрового кода в 
качестве универсального посредника. Я называю его посредником, поскольку нашим 
органам чувств доступны только аналоговые медиа: волны пульсирующего давления, 
которые мы воспринимаем как звук; уровни напряжения, подаваемого на пиксели ЖК- 
экрана, которое заставляет их менять свой цвет; разные оттенки краски, нанесенные на 
бумагу сублимационным принтером, и т. д. Такие преобразования из АВЦ 
(из аналогового формата в цифровой) и из Цв А (из цифрового в аналоговый) являются 
центральными для функционирования цифровых медиа: например переход от световых 
волн к числам, хранящимся в файле, представляющем изображение, — и обратно к 
уровням напряжения, которые отвечают за работу экрана. Или другой пример: когда мы 
создаем объект, который будет напечатан на ЗО-принтере, аналоговая репрезентация на 
экране переводится компьютером в цифровой файл, на основе которого создаются 
аналоговые сигналы, управляющие работой принтера. 

Существует два уровня кодирования: сначала происходит дискретизация 
непрерывного аналогового сигнала, благодаря чему он представляется как дискретная 
шкала чисел (например, для репрезентации серых оттенков изображений обычно 
используется 256 уровней), после чего эта дискретная репрезентация переводится в 
двоичную систему счисления, что делает «медиа» недоступными для прямого 
наблюдения. Главная причина этого кроется не в двоичном коде как таковом 
(изобретенном индийским ученым Пингала между У и П веками до нашей эры), 
поскольку двоичную систему можно научиться переводить в десятичную в уме. 
Проблема состоит в том, что представление даже одного изображения в цифровом виде 
требует использования огромного количества чисел. Например, изображение в 
разрешении НКи| НО (1920х1080) содержит 2 073 600 пикселей или 6 220 800 значений 
КОВ. При непосредственном восприятии такого объема чисел распознать изображение, 
которое они кодируют, становится невозможно. (Кстати, по этим же соображениям любое 


цифровое изображение можно рассматривать как визуализацию информации: оно 
демонстрирует паттерны, содержащиеся в числовом представлении.) 

4. Значения КОВ пикселей небольшой области вышеприведенной фотографии 
(скриншот с открытым текстовым файлом). Разрешение фотографии — 3264х2448 
пикселей, 11,2 мегабайта в формате РМО. Размер текстового файла, содержащего 


значения КОВ для всех 7 990 272 пикселей, составляет 53 мегабайта 
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128.67 126.00 127.00 127.33 130.00 133.00 151.33 183.33 185.00 125.00 100.33 145.33 150.33 162.00 
157.6? 159.33 147.00 143.67 140.33 132.67 131.67 132.67 135.67 139.00 139.00 132.33 127.67 133.00 
153.67 151.67 125.33 129.67 134.33 134.33 145.67 149.67 151.67 156.67 161.67 157.00 154.00 159.00 
164.00 167.00 176.67 182.00 181.33 185.00 182.67 172.00 174.33 172.67 176.33 179.00 182.33 177.67 
164.00 163.00 166.33 158.67 154.00 161.00 167.00 157.33 147.00 139.67 136.00 139.67 156.67 162.33 
202.33 219.67 231.00 236.33 240.00 243.00 245.67 249.67 251.00 251.33 251.00 250.00 249.33 248.67 
251.6? 249.00 248.33 247.67 247.00 246.33 250.00 251.00 251.67 252.00 252.00 252.00 252.00 252.67 
253.33 253.008 253.00 253.33 253.33 253.00 253.33 253.33 253.33 253.33 253.00 253.00 253.33 253.33 
253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 
253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 
253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.6? 253.33 253.67 
253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 
253.00 253.00 253.00 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.67 253.33 
254.00 253.67 253.67 253.67 253.67 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 
253.33 253.33 253.33 253.33 253.67 253.6? 253.33 253.33 253.33 253.33 253.67 253.33 253.33 253.33 
253.33 253.33 253.33 253.33 253.33 253.33 253.67 253.67 253.67 253.33 253.33 253.33 253.6? 253.6? 
253.6? 253.33 253.33 253.33 253.67 253.67 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 
253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.67 253.67 253.67 253.6? 253.6? 253.67? 
253.6? 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 
253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 
253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.00 253.33 253.33 253.33 
253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 
253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 
253.00 252.6? 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 
253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.33 253.00 253.33 253.00 253.33 253.33 253.33 
253.00 253.008 253.33 253.33 253.00 253.00 253.33 253.33 253.33 253.00 253.00 253.33 253.33 253.33 
253.00 253.08 253.008 253.00 252.67 253.00 253.00 253.33 253.00 253.00 253.00 253.00 253.00 253.00 
253.00 253.00 253.00 253.00 253.00 253.00 253.00 253.08 253.33 253.00 253.00 253.00 253.00 253.00 
253.33 253.08 253.33 253.33 253.33 253.00 253.00 253.00 253.00 253.00 253.00 253.33 253.33 253.33 
253.08 253.08 253.33 253.33 253.33 253.33 253.33 253.00 252.67 252.67 252.67 253.00 253.00 253.00 
253.00 253.08 253.00 253. 253.00 253.00 252.67 253.00 253.00 253.00 253.00 253. 253.00 253.00 


Для невооруженного глаза такой набор чисел кажется бессмысленным. Поэтому нам 
приходится использовать технологии, для того чтобы перевести их в аналоговую версию, 
доступную для наших органов чувств. Чаще всего файл изображения переводится 
цифровыми устройствами и программами в изображение, появляющееся на нашем 
экране. Однако цифровая репрезентация одного типа медиа также может переводиться в 
другой тип, доступный нашим органам чувств. Так, в программах для аудиовизуальных 
перформансов видео часто используется для управления звуком, или, наоборот, звук — 
для создания абстрактного визуального материала. (Любопытно, что предшественником 
фонографа Томаса Эдисона, представленного в 1877 году и ставшего первым 
устройством для записи и воспроизведения звука, был фоноавтограф Эдуара Леона 
Скотта де Мартенвиля. Этот прибор, созданный в 18577 году, переводил звук в формат 
визуальных медиа. Иными словами, визуализация звука была изобретена раньше, чем его 
запись и воспроизведение.) 

5. Увеличенное изображение записи фонографа, 1878 год 
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С самого начала устройства, генерирующие и передающие электромагнитные 
аналоговые сигналы (скажем, граммофон) включали в себя хотя бы несколько 
регуляторов для изменения этого сигнала, например для изменения амплитуды. Первый 
известный электронный инструмент, изобретенный Львом Терменом в 1920 году, 
превратил эти регуляторы в новую парадигму исполнения музыки. Исполнитель 
контролировал амплитуду (громкость) и частоту (высоту), попеременно приближая к 
двум антеннам и отдаляя от них свои руки. 

Софт идет дальше в применении этого принципа, включая еще больше механизмов 
управления и способов представления данных. Например, я могу выбрать отображение 
этого текста в программе У№о!4 в режиме «Структура» или в режиме «Разметка 
страницы», чтобы увидеть границы печати; могу отображать сноски или скрывать их; 
запустить автоматическое реферирование текста; менять тип шрифта и размер букв ит. д. 
Таким образом, хотя сами данные закодированы и хранятся в компьютере в форме, 
недоступной нашим органам чувств, новая модель кодирования и обеспечения доступа 
имеет значительное преимущество в другом: данные могут быть отформатированы 
множеством разных способов. Это форматирование может быть изменено интерактивно, 
но также его можно сохранять вместе с данными и воспроизводить позже. 

Можно обратить внимание на взаимосвязь между ранними технологиями записи и 
воспроизведения, основанными на электромагнитных волнах, которые были разработаны 
в последних десятилетиях ХХ века (телефон — Белл, 1875; фонограф — Эдисон, 1877; 
телевидение — Нипков, 1884; радио — Фессенден, 1900 [4]), и программным 
обеспечением для работы с медиа, созданным сто лет спустя. В то время как ранние 
технологии репродуцирования, такие как ксилография, печать наборным шрифтом, 
гравюра, литография и фотография, сохраняли исходную форму медиа, медиатехнологии 
конца Х[Х века отказывались от нее в пользу электрического сигнала. Другими словами, 
эти технологии представили кодирование как способ хранения и передачи медиа. 
Одновременно эти технологии предъявили принципиально новый слой медиа — 
интерфейс, т. е. способ репрезентации («форматирования») и управления сигналом. В 
результате изменились принципы функционирования медиа: их «свойства» уже не 
хранились исключительно в данных, но стали также зависеть от интерфейса, 
предоставленного разработчиками новых технологий. 
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6. Дитер Рамс. Проигрыватель Вгаип, 1956. Рамса можно назвать первым дизайнером 
интерфейсов. Создавая дизайн записывающих и воспроизводящих устройств (камер, 
проигрывателей, магнитофонов и др.), он определил эстетику интерфейса и новый тип 
продукта потребления — продукта, главная роль в котором отведена устройствам 
управления: кнопкам, рычагам, рукояткам 





Сто лет спустя переход к цифровым данным и медиасофту сделал эти принципы 
общими для всех медиа. Сейчас пользователь может получить доступ к любому типу 
данных, закодированных с помощью наборов чисел, только через приложения, которые 
переводят эти числа в чувственно постигаемые формы. Таким образом, можно еще раз 
подчеркнуть, что все «свойства цифровых медиа» в данный момент определяются 
конкретными программами, а не собственно содержанием — цифровым файлом. Поэтому 
то, что было свойственно уже для аудиозаписи, радио, телевидения или видео, теперь 
применимо и к тексту, изображениям и ЗО-объектам. 

Иными словами, медиа становятся софтом. 


ЖЖ 


[1] МеБоа$ №есгороще, Веше О1епа|, М№е\ УогК: АШеа А. Кпор!, 1995. 

[2] Геу Мапоу1сВ, Ауап-Оагае аз эой\аге, ш Меда Кеуо| поп, е4. УерВеп Коуаб, 
ЕгапКРа ат Маш/Ме\у УогК: Сатриз УеПас, 1999 
(Бер://тапоу1сВ.пе/шаех.рЬр/рго]ес(5/ауап-сагае-аз-зо\аге). 

[3] Медиум-специфичность — понятие, введенное американским арт-критиком 
Клементом Гринбергом, которое предполагает установление каждым искусством 
собственной и уникальной области компетенции. — Примеч. ред. 

[4] В 1900 году состоялась первая передача звука по радио. — Примеч. ред. 


П. Инфоэстетика и исследования софта 


Культурные формы информационного общества 
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регуазлуе сотрийпе 

атлет ии(еШеоепсе 

сощех(-а\гаге епутоптеп$ 
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сплошная компьютеризация 

всепроникающая компьютеризация 

разумное окружение 

контекстно-зависимые системы 

умные объекты 

неигровые персонажи 

Постановка проблемы 

Я хотел бы предложить новую парадигму для понимания современной культуры — 
информационную эстетику. В отличие от таких концептов, как модернизм и 
постмодернизм, эта парадигма не претендует на то, чтобы быть всеобъемлющей. Иными 
словами, я не ставлю себе целью интерпретировать все черты современной культуры как 
проявления одной-единственной логики или ограниченного набора принципов. Тем не 
менее, как я попробую показать в своей будущей книге «Инфоэстетика: информация и 
форма», призма информационной эстетики позволит нам обнаружить взаимосвязи между 
широким кругом культурных феноменов, в том числе между наиболее важными и 
интересными проектами в различных сферах современной культуры: кинематографе, 
архитектуре, дизайне продукта, моде, веб-дизайне, дизайне интерфейсов, визуальном 
искусстве, информационной архитектуре и, разумеется, искусстве новых медиа. И, хотя 
инфоэстетика не должна становиться единственным инструментом в концептуальном 
арсенале, она может оказаться крайне полезной. Настоящее же эссе может быть 
прочитано как введение к будущей книге и одновременно как краткое изложение 
некоторых ключевых положений об инфоэстетике — идее, которую я развиваю с 2000 
года. 

Для того чтобы объяснить, что я понимаю под информационной эстетикой, позвольте 
мне начать с простой, но очень важной вещи: слово информация содержит в себе слово 
форма. Уже некоторое время социологи, экономисты и политики говорят нам, что мы 
живем в новом информационном обществе. Впервые этот термин был использован в 
1960-х годах, еще до компьютерной революции. Ниже я упомяну некоторые теории, 
осмысляющие информационное общество, а также связанные с ними понятия 
постиндустриального общества, общества знания и сетевого общества. Поскольку 
настоящее исследование посвящено культуре информационного общества, аргументы 
экономистов и социологов в его контексте важны не больше, чем изменения в 
повседневной жизни обычных людей. Чем мы занимаемся, какими объектами мы 
пользуемся, как мы общаемся и взаимодействуем с другими, в каких местах мы живем 
или бываем — все это будет неизбежно оказывать влияние на существующие культурные 
модели и эстетические предпочтения, а также создавать новые. Уже тот факт, что мы 
наблюдаем значительные изменения во всех этих аспектах повседневного человеческого 
опыта, а также то, что все эти изменения вращаются вокруг «информации», вынуждает 
нас исследовать вопрос о том, как культура реагирует на эти трансформации. 

Когда в 1960-х годах был введен термин информационное общество, очень немногие, 
даже в США, хотя бы раз видели компьютер. (Сам я рос в Москве в 1970-х и работающий 
компьютер впервые увидел только после переезда в Нью-Йорк в 1981 году.) Разумеется, 
некоторые проницательные художники — вроде Жан-Люка Годара, снявшего 
великолепный «Альфавиль», — уже понимали, что компьютер становится новым богом 


нашего времени, но они оставались исключением из общего правила. Даже такой 
визионер, как Маршалл Маклюэн, казалось бы точно предсказавший большинство черт 
современной киберкультуры за три десятилетия до того, как они проявились, полностью 
игнорировал компьютеры. В своей работе «Понимание медиа» |[ | |, где представлен 
системный анализ всех ключевых исторических и современных медиатехнологий, 
Маклюэн все же посвящает самую последнюю главу обработке данных, но в целом 
компьютерные вычисления не играют в его теории никакой роли. Возможно, это 
объясняется тем, что Маклюэн рассматривал медиа в первую очередь как способ 
коммуникации и/или репрезентации. В 1960-х годах компьютеры еще не были 
задействованы в осуществлении этих функций так, чтобы это было заметно для широкой 
публики. 

В то десятилетие лишь несколько ученых, работавших в области компьютерных наук, 
— Тед Нельсон, Алан Кэй и некоторые другие — осознали, что из машины для обработки 
данных компьютер неизбежно превратится в движущую силу культуры. Точно так же 
лишь несколько социологов смогли в то время почувствовать, что работа с информацией 
по важности начала соперничать с индустриальным производством. Тем не менее то, что 
тогда было лишь научной гипотезой, сегодня стало повседневной реальностью — 
это очевидно для большинства жителей развитых и развивающихся стран. Зачастую вся 
работа сейчас сведена к управлению данными на мониторе компьютера, т. е. к обработке 
информации. Проходя или проезжая мимо офисных зданий в любом городе, можно 
заметить, что все офисы, вне зависимости от сферы деятельности компании, выглядят 
одинаково: они заставлены рядами компьютерных мониторов. Представители любой 
профессии: финансовые аналитики, городские чиновники, секретари, архитекторы, 
бухгалтеры — и, в общем-то, все остальные офисные работники — делают одно и то же: 
обрабатывают информацию. 

Уходя с работы, мы не покидаем информационное общество. В своей повседневной 
жизни мы используем поисковые системы, получаем информацию из баз данных и 
полагаемся на мобильные устройства и персональные информационные менеджеры. Мы 
жалуемся, что вокруг слишком много информации, которую необходимо отслеживать и 
осмысливать; между тем библиотеки и музеи по всему миру постоянно пополняют 
мировую груду информации, систематически оцифровывая имеющиеся у них материалы. 
Мы превращаем свою жизнь в архивы данных, сохраняя электронные письма, сообщения 
из чатов, смс, цифровые фотографии, данные СР5, любимые музыкальные треки, 
телевизионные передачи и другие «цифровые следы» своего существования. Однажды, 
когда мы устанем от всего этого, мы будем устраивать себе «отпуск без электронной 
почты». Но даже организация отдыха требует работы с информацией: поиск лучших 
предложении в интернете, сравнение цен, ввод данных кредитной карты для 
бронирования на веб-сайтах и т. д. Даже находясь в отпуске, когда мы ничем особенно не 
заняты, — просто включая свой мобильный телефон, для того чтобы проверить 
сообщения или позвонить кому-то, мы попадаем в мир информации. Словом, 
информационное общество — это пространство, где на сегодняшний день существует 
большинство жителей развитых и развивающихся стран, и влияние которого они 
ощущают на собственном опыте. Что же касается людей из другой части мира, хотя они 
ежедневно не пользуются компьютером сами, компании, общественные организации, 
правительства развитых стран, которые играют решающую роль в судьбе стран 
четвертого мира, разумеется, компьютеризованы. Поэтому обработка информации также 
определяет жизнь представителей наименее развитых стран, даже если сами они этого не 
осознают. 

По этим и другим причинам обработка информации стала ключевым аспектом нашей 
повседневности. Тем не менее, поскольку мы существуем в материальном мире, нам 
всегда требовались — и требуются до сих пор — материальные объекты для размещения 


и транспортировки наших тел, машин для обработки информации и самой информации. 
Эти формы разнятся: от масштабных (здания, мосты, самолеты) до очень небольших 
(1Род’ы, мобильные телефоны), от меняющихся крайне редко (архитектура) до регулярно 
обновляемых (одежда). Так же, как человеку нужна одежда, компьютеру необходима 
оболочка, защищающая внутренние механизмы и при этом позволяющая удобно 
просматривать информацию и работать с ней (так называемый интерфейс человек- 
компьютер, обычно включающий клавиатуру и экран). Текст должен быть удобен для 
чтения вне зависимости от того, появляется он на экране, обычной или электронной 
бумаге. Таким образом, хотя слово информация содержит в себе слово форма, в 
действительности же все наоборот: чтобы информация была для нас полезной, она 
должна быть упакована в некую внешнюю форму. 

Нам приходится проектировать формы для себя, но также и для информации, которую 
мы создаем, фиксируем и редактируем. Можно сказать, что мы стали биологическим 
видом, обрабатывающим информацию, при этом оставшись видом, создающим формы. 
Если Маркс полагал, что человек отделился от животного мира, создав орудия труда, 
сейчас мы можем добавить, что люди стали людьми, сделавшись дизайнерами — 
изобретателями и создателями форм. 


Информация и форма 


Если обработка информации стала определяющей особенностью нашего мира, то как это 
повлияло на формы, которые проектируются сегодня? После завершения работы над 
книгой «Язык новых медиа» [2] в 1999 году этот вопрос интересует меня больше всего. 
Важно различать два вектора влияния информации на создаваемые нами формы. С одной 
стороны, можно анализировать то, как центральное положение работы с информацией в 
нашей повседневной жизни может влиять на наши эстетические предпочтения, что 
проявляется в новых трендах в архитектуре, промышленном и графическом дизайне, 
медиадизайне, кинематографе, музыке, моде, театре, танце, экспозиционном дизайне и 
других сферах культуры. С другой стороны, необходимо также помнить, что 
большинство форм, с которыми мы сталкиваемся сегодня, были созданы при помощи 
компьютера, — и этот факт оказывает столь же сильное влияние на результат работы 
дизайнеров. В итоге обработка информации воздействует на нас и за пределами формы 
(т. е. создает новые модели восприятия, поведения, работы и игры), являясь при этом тем 
самым методом, с помощью которого эти формы проектируются. 

Необходимо сразу же обозначить еще одно фундаментальное изменение, к которому 
приводит изменение роли информации. В информационном обществе создание форм 
тесно связано с понятием интерфейса. Как я уже упоминал выше, мы должны придать 
визуальную форму тому, что появится на экране компьютера, мобильного телефона, 
КПК, автомобильного навигатора и т. д. Помимо этого, форму придают кнопкам, 
трекболам, микрофонам и другим устройствам ввода информации. Интерфейс человек- 
компьютер включает в себя целую систему визуальных условностей: папки, иконки и 
меню (графический пользовательский интерфейс), аудио-условностей (как в интерфейсе 
распознавания речи) и отдельных физических характеристик (форма, цвет, материал и 
текстура мобильного телефона); это новая категория форм, создание которых сегодня 
становится необходимым. Еще важнее то, что по мере проникновения вычислений в нашу 
жизненную среду (тренд, описываемый такими терминами, как сплошная или 
всепроникающая компьютеризация, разумное окружение, контекстно-зависимые 
системы, умные объекты) интерфейс постепенно покидает то пространство, где он провел 
в безопасности несколько десятилетий (я имею в виду автономные компьютеры и 
электронные устройства), и начинает появляться на всевозможных объектах и 
поверхностях: на стенах, предметах мебели, сидениях, сумках, одежде и рекламных 


плакатах [3]. Следовательно, формы всех этих объектов, которые раньше жили «вне 
информации», теперь должны учитывать вероятное появление на них интерфейса. 

Это не означает, что отныне «форма следует за интерфейсом». Скорее они вынуждены 
приспосабливаться друг к другу. Помимо традиционных требований, предъявляемых к 
материальным формам, — как, например, то, что на стуле должно быть удобно сидеть, — 
появляются новые требования к их дизайну. Так, мы привыкли к работе с текстом, 
представленным на плоской прямоугольной поверхности, и если на объекте появляется 
экран, то подразумевается, что одна из поверхностей объекта должна быть плоской. 
Такую поверхность легко найти у стола, но намного сложнее сделать это с предметом 
одежды или концертным залом имени Уолта Диснея в Лос-Анджелесе: архитектор Фрэнк 
Гери спроектировал это здание так, чтобы в нем не было ни одной плоской поверхности. 
Конечно, принимая во внимание, что новые технологии быстрого производства вскоре 
могут позволить без труда напечатать электронный дисплей на любой поверхности 
любого объекта в процессе его создания, возможно, мы будем в состоянии подстроить 
свои привычки восприятия до того уровня, на котором движущиеся и меняющие свою 
форму дисплеи будут восприниматься намного проще, чем это можно себе представить. 
На самом деле, эксперименты с графическими проекциями, управляемыми компьютером: 
на тела танцоров, как в работе «Явление» Клауса Обермайера, или в системе 
интерактивной оперной сцены, созданной студией АИ+Сот, — уже продемонстрировали 
эстетический потенциал вывода информации на постоянно меняющуюся, неплоскую и 
непрямоугольную поверхность [4]. 
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Я на выставке студенческих проектов факультета промышленного дизайна 
Технического университета Эйндховена. Этот факультет существует всего три года, 
поэтому вместо того чтобы создавать дизайн традиционных предметов, студенты 
работают над так называемыми умными объектами. Все проекты на выставке 
представляют собой знакомые предметы, к которым с помощью электроники и 
компьютеров добавляются «волшебные» функции. Ниже приведены примеры того, как 
материальные объекты соединяются с медиа/интерфейсом. В одном из проектов 
балдахин, подвешенный по диагонали над детской больничной койкой, становится 
электронным холстом. Отслеживая положение специальной ручки, не касающейся 
поверхности балдахина, это устройство позволяет ребенку рисовать не покидая кровати. 
В другом проекте на специальном зеркале можно оставить сообщение, например для 
члена семьи. В раму зеркала вмонтирован прямоугольный блок с камерой. Этот блок 
можно вынуть, записать на него видеосообщение и вставить обратно в раму. Видео 
автоматически загружается в волшебное зеркало, на поверхности которого появляется 
небольшая картинка. По клику на нее видео воспроизводится. В следующем проекте 
волшебным предметом становится вертикальная пластиковая колонна с лампами 
рассеянного света внутри. На колонне есть специальный интерфейс — сетка. 
Прикосновение к сетке меняет положение, яркость и оттенок света. Невозможно точно 
предугадать, как именно изменится свет, — именно поэтому взаимодействовать с этой 
колонной интересно. 

Вместе эти три проекта демонстрируют разные способы комбинирования объекта, 
интерфейса и экрана. Первые два обыгрывают знакомые модели поведения: рисование 
ручкой и запись видео на камеру. Третий проект предлагает пользователю разработать 
новый словарь движений и жестов, на которые будет реагировать свет. Каждый из этих 
«умных объектов» по-разному «отвечает» нам: балдахин-холст показывает рисунок, 
зеркало воспроизводит видео, свет различным образом меняется. Иначе говоря, 
поверхность объекта может стать одновременно средством приема и передачи 
информации, сочетая при этом физические и экранные свойства — или форму и 
информацию — непредсказуемым образом. Эти «умные объекты» действительно по- 


своему волшебны: мы видим, как знакомые, обычно пассивные объекты в буквальном 
смысле оживают и реагируют на наше воздействие. 


Экранные формы 


Про формы, использующиеся в дизайне и архитектуре, нельзя сказать, что они просто 
обладают материальностью. Они также являются способами структурирования 
информации, которая, будучи выведена на некий «экран», может быть понятна и полезна 
для человека. Кинематографический нарратив, интерактивная визуализация информации, 
поисковые системы, пользовательский интерфейс телефона Мокла, эро (новый 
инструмент поиска и управления файлами в операционной системе Арре ОЗ Х) — это 
тоже формы, которые систематизируют данные, будь то аудиовизуальные записи (в 
случае фильма) или документы на жестком диске (как в системе ЗроШеЪ®. Для того 
чтобы отличать подобные формы от собственно материальных, я буду называть их 
экранными формами — при этом не забывая о том, что экраном может быть и бумага 
(как, например, при печати иллюстраций или схем в журналах), или, как в случае с 
дисплеями дополненной реальности, информация может накладываться на реальный мир. 

Поскольку информационная эстетика осмысляет форму и информацию, я буду 
рассматривать лишь те экранные формы, которые либо предлагают принципиально новые 
способы управления информацией, либо реагируют на резкое увеличение количества 
данных. Последний факт может показаться тривиальным: известно, что ежедневно 
появляется пятнадцать тысяч новых блогов [5]. Тем не менее наши повседневные 
привычки и то, как мы понимаем себя, других и мир вокруг нас, — все это кардинально 
меняется из-за количественного роста информации, которая производится, передается, 
сохраняется и оказывается в общем доступе. 

Я предпочитаю термин информационное общество любому другому, который мог бы 
столь же ясно определить контекст настоящего исследования, поскольку считаю, что 
экспоненциальный рост доступной нам информации — одна из главных болевых точек 
современной культуры, причем напряжение будет только расти. У этого избытка 
информации могут быть самые разные культурные эффекты. Помещая свое исследование 
в контекст информационного общества, я хочу выделить культурное измерение, которое 
до этого момента не входило в наш критический словарь, — масштаб. Обычно мы 
размышляем о культуре в качественных категориях, таких как авторство, соавторство, 
восприятие, тип медиа, идеология и т. д.; теперь же нам придется рассматривать нечто 
исключительно количественное: резкое увеличение объема доступных медиа. Мы уже не 
говорим о «старых медиа» и «новых медиа». Теперь нам нужно осмыслять, что для нас 
значит «еще больше медиа». 

Некоторые последствия этого количественного изменения заметны уже сейчас. Новый 
стандартный интерфейс нашей культуры — это поисковая система. Сейчас мы к этому 
уже привыкли, но представьте, как бы вы отреагировали в начале 1990-х годов, если бы 
вам сказали, что, прежде чем получить доступ к информации, вы сначала будете искать ее 
в миллионах документов и лишь затем приступите к прослушиванию, просмотру или 
чтению. Связанное с этим изменение — это переход от единичного медиаобъекта 
(обычно существующего как отдельная единица и имеющего самостоятельную ценность) 
к последовательности или базе данных цифровых медиа. Например, мы уже не 
фетишизируем отдельные музыкальные записи или конкретную напечатанную на бумаге 
фотографию — сейчас у каждого есть плейлисты и каталоги цифровых фото. 

К чему ведут эти изменения? Приведет ли рост объема доступных медиа, а также 
появление новых инструментов и конвенций интерфейса, которые обеспечивают к ним 
доступ, к возникновению новой эстетики самих произведений искусства и новых моделей 
их восприятия? Ответить на подобные вопросы намного сложнее. Появляются новые 
культурные практики, даже новые сферы культуры, в которых творчески осмысляется 


экспоненциальный рост количества информации. Для меня этот рост — не угроза для 
культуры, а новые возможности. Новые культурные стратегии зачастую появляются в 
качестве реакции на социальный кризис или просто на заметное изменение социального 
устройства. В ХХ веке индустриализация вызвала ряд творческих реакций, таких как ар- 
нуво или «Движение искусств и ремесел». Первая мировая война и революционная 
лихорадка в Европе привели к возникновению конструктивизма, сюрреализма, развитию 
советской школы монтажа в кинематографе и фотографии и другим феноменам. Сегодня 
«информационализация» вынуждает общество находить новые способы взаимодействия с 
информацией, ее осмысления и репрезентации. Социальное ПО (У/Царе( а), работа с 
визуализацией данных и информационным дизайном (как в проектах Бенджамина Фрая), 
удивительные нарративы из баз данных (например, в фильме «Просвечивание: слои Лос- 
Анджелеса» [В]еедте ТбгочэВ: Гауег$ о Т05-Апо@е$| Нормана Кляйна, Розмари 
Комеллы и Андреаса Кратки), анализ культуры (как в «Науке ритма» О. Зрооку) — все 
это примеры творческого осмысления новой информационной среды. Вместо того чтобы 
пытаться защитить себя от переизбытка информации, мы можем воспринимать эту 
ситуацию как возможность для изобретения новых форм, которые будут соответствовать 
новому миру. Словом, нам нужно изобрести информационную эстетику. 


Метод 


В начале статьи я отметил, что слово информация, определяющее для нашей эпохи, 
содержит в себе слово форма. О каких формах в данном случае идет речь? Или, иначе, 
какова «форма информации»? 

Сама по себе эта формулировка может показаться привлекательной, но не слишком 
информативной, поэтому позвольте мне раскрыть ее через серию более конкретных 
вопросов. Сопровождалось ли рождение информационного общества появлением нового 
словаря форм, новой эстетики дизайна, новой иконологии? Существуют ли формы, 
характерные исключительно для информационного общества, учитывая, что софт и 
компьютерные сети переопределяют само понятие формы? В конечном счете новые 
формы уже не являются чистыми, стабильными, определенными, конечными и 
ограниченными в пространстве и времени — зачастую они варьируются, возникают 
спонтанно, они размыты, их нельзя наблюдать непосредственно. Можно ли представить 
информационное общество иконически, если деятельность, его определяющая, — 
обработка информации, взаимодействие человека и компьютера, телекоммуникация, сети 
— дана нам в виде динамических процессов? Сверхчеловеческие масштабы наших 
информационных структур: от шестнадцати миллионов строк компьютерного кода, 
образующих операционную систему У/т4о\$, до сорока лет, которые потребовались бы 
нам для просмотра всех видеоинтервью, хранящихся на серверах Фонда Шоа, или самой 
сети Интернет, для которой невозможно даже создать карту, — можно ли свести все это к 
масштабу, доступному для человеческого восприятия и познания? Иными словами, если 
переход от индустриального обществу к информационному сопровождался переходом от 
формы к потоку информации, можем ли мы перевести эти потоки информации в формы, 
понятные для человека? 

Когда я начал анализировать современную культуру, задавая себе все эти вопросы, я 
решил, что необходимо создать термин, с помощью которого можно было бы описать мои 
наблюдения. Таким термином для меня стала инфоэстетика. В ее рамках современная 
культура изучается с целью обнаружения возникающих культурных форм и эстетики, 
характерных для глобального информационного общества. Я не хочу сказать, что сейчас 
существует единый «стиль инфоэстетики», либо что таковой может возникнуть в 
будущем. Скорее, информационная эстетика указывает на те современные культурные 
практики, которые могут быть интерпретированы как реакция на новые приоритеты 
информационного общества: осмысление информации, работу с информацией, 


производство знания из информации. Полагаю, что эти практики уже играют заметную 
роль, и их значение будет только возрастать. Однако я хотел бы отметить, что не нужно 
соотносить всю экосистему различных стилей и форм современной эстетики с переходом 
к информационному обществу и той ключевой ролью, которую управление информацией 
играет в социальной, экономической и политической жизни современного общества. 
Существуют и другие факторы, которые столь же важны. Среди них: экономическая 
глобализация, глобальное старение населения, идеи комплексности, эмерджентности и 
эволюции; экологическое мышление, проявляющееся в таких парадигмах, как принцип 
безотходного производства, экологичный дизайн и дизайн, ориентированный на 
повторное использование; новые материалы и производственные процессы; новые сети 
распределенного производства и способы их координации и даже меняющийся 
политический и социальный климат разных десятилетий (эйфория 1990-х после 
окончания Холодной войны и одержимость безопасностью после 11 сентября). 

В своем исследовании я использовал метод сравнительного анализа. Я рассматриваю 
культуру информационного общества, сравнивая ее с культурой индустриального. Лучше 
всего для этого подходит период начала ХХ века, когда художники-модернисты 
создавали новую эстетику, новые формы, техники репрезентации и символы 
индустриального общества. Полагаю, что, пытаясь понять, каковы могут быть их 
эквиваленты в информационном обществе, мы можем яснее увидеть особенности нашей 
эпохи. 

Этот метод отличается от того, который я использовал в своей книге «Язык новых 
медиа», где главный вопрос был следующим: что нового приносят компьютерные медиа? 
В первую очередь я анализировал новые медиа в сравнении с визуальной культурой после 
Ренессанса, включающей в себя искусство модерна, а также так называемые старые медиа 
— главные медиатехнологии ХГХ-ХХ веков (фотографию, кинематограф, видео). В этой 
книге я обращался к истории с точки зрения прагматики и осознанно использовал 
исторические факты по-разному: поскольку каждая глава описывала определенную 
технику или конвенцию новых медиа, я создавал особую историческую траекторию, 
которая, по моему мнению, наилучшим образом иллюстрировала ту или иную технику. 
Таким образом, в каждой главе был проложен особый путь через современную историю 
визуальной культуры и медиа. 

Исследуя информационную эстетику, я использую исторические факты иначе. Вместо 
того чтобы изучать компьютерные медиа в сравнении с историей других медиа, я 
рассматриваю ключевые различия между логиками нашей компьютероцентричной 
культуры и культуры более ранней эпохи — модернизма. Надеюсь, что подобный подход 
поможет приблизить зарождающуюся дисциплину исследований медиа к другим 
областям гуманитарного знания: истории искусств и арт-критике, литературоведению, 
изучению кинематографа, истории архитектуры и дизайна. Все эти сферы знания 
опираются на весьма привычную и усвоенную концепцию модернизма, и только сейчас в 
их рамках начинает серьезно исследоваться современная компьютерная культура. Я 
надеюсь, что демонстрация того, что проблемы, которые поднимаются в работах 
художников-модернистов, возникают и в современной информационной культуре, 
поможет перекинуть мост между людьми, относящими себя к, казалось бы, не связанным 
друг с другом областям знания. 

Еще одна стандартная концепция, часто использующаяся в последних работах в сфере 
гуманитарных наук и культурной теории, — идея постмодернизма — также возникает в 
инфоэстетике, хотя новое осмысление этой идеи может не понравиться многим из тех, 
кто к ней обычно обращается. Я предлагаю рассматривать новую эстетику 1970-х и 1980- 
х годов, которую в то время определяли как «постмодернистскую», в качестве всего лишь 
переходного этапа между модернизмом и информационной эпохой. Иными словами, 


постмодернизм олицетворял лишь начало компьютерной и информационной революции в 
культуре, он не стал такой же фундаментальной парадигмой, как модернизм. 

Инфоэстетика не требует использования термина новые медиа. Почему? 
Возникающие языки новых медиа в своей одноименной книге я определил как 
культурные формы, для производства и потребления которых требуется такой 
инструмент, как цифровой компьютер: компьютерные игры, веб-сайты, СО-КОМ`ы, 
виртуальные среды, интерактивные инсталляции и т. д. Иначе говоря, если вы хотите 
понять, является нечто новыми медиа или нет, просто задайте себе вопрос: нужен ли 
компьютер, для того чтобы это воспринимать’? Если ответ «да», то перед вами новые 
медиа. Вне зависимости от вашего непосредственного опыта, на самом деле вы 
взаимодействуете с запущенной программой. Просматривает ли пользователь 
интерактивную мультимедийную презентацию в музее, ищет что-то в интернете или 
играет в компьютерную игру — все это осуществляется той или иной программой или 
программами: управляющая программа генерирует мультимедиа-экраны; веб-браузер 
взаимодействует с сервером, чтобы получить данные и вывести их на экран; код 
контролирует неигровых персонажей (МРС) или производит вычисления, необходимые 
для того, чтобы реалистично представить столкновение двух автомобилей в 
компьютерной игре ит. д. 

Завершив свой анализ медиаформ, основанных на использовании софта, я стал 
расширять свое исследование «горизонтально», включая в него максимально возможное 
число культурных сфер. Было очевидно, что проникновение цифровых компьютерных 
сетей практически во все сферы культуры будет продолжаться, так что разграничение, 
которое я обозначил в «Языке новых медиа» между новыми медиа и другими 
культурными практиками, будет становиться все менее и менее целесообразным. 
Одновременно с этим, поскольку дизайн и производственные технологии, связанные с 
использованием компьютера, все шире распространялись в сфере производства нашей 
материальной культуры — промышленном дизайне, архитектуре, моде, проектировании 
опыта взаимодействия, орендинге, — эти феномены начали привлекать меня все больше 
и больше. Если новые медиа в 1990-х годах, как это продемонстрировано в предыдущей 
главе, были в первую очередь «экранными медиа», в дальнейшем компьютеры стали 
оказывать столь же сильное влияние на эстетику нашего материального окружения. 
Прибавьте к этому медленный, но неизменный рост важности новых компьютерных 
парадигм: сплошной компьютеризации, разумного окружения, умных объектов — и 
станет очевидно, что, если мы хотим исследовать влияние компьютерных технологий на 
культуру, мы должны начать изучать эти технологии за пределами экрана. В 
последующие годы я провел бессчетные часы в аэропортах, побывал во множестве 
городов на четырех континентах, посетил огромное количество медиафестивалей, 
промышленных выставок, выставок архитектуры и дизайна. Я встретил настолько много 
людей, что сейчас мой мозг часто отказывается вспоминать даже имена моих друзей, и 
провел больше времени на огф!(7.сот и Во{е]1.сош, чем на любых других сайтах. Думаю, 
что никаким другим способом я бы не смог провести это исследование — и уж точно 
простого поиска в интернете было бы недостаточно. 

Таким образом, инфоэстетика не осмысляет новые медиа как таковые. Скорее она 
рассматривает различные сферы культуры (столько, сколько можно отследить), в которых 
использование компьютера для дизайна и производства порождает новые формы. 
Некоторые из этих форм — «экранные», например визуализация информации, но многие 
другие материальны. В конечном счете я полагаю, что смена моих собственных интересов 
отражает общее смещение акцентов в сторону того, что однажды было названо «новыми 
медиа». Десять лет назад специалист по интерактивному дизайну мог создать продукт, 
который воспроизводился лишь на экране компьютера. Сегодня же понимание этой 
профессии сильно изменилось: согласно \/Паред1а, интерактивный дизайн «исследует 


роль встроенных поведения и интеллекта в физическом и виртуальном пространствах, а 
также взаимопроникновение физических и цифровых продуктов» [6]. Культурные 
объекты, в которых пересекаются цифровое и физическое, являются главным предметом 
информационной эстетики. Однако, как историк культуры настоящего, я должен 
рассматривать не только их взаимопроникновение, но и другие отношения: конфликт, 
противоречие, заимствование, гибридизацию, ремикс. 


ЖЖ 
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В 2002 году я был в Кёльне и зашел в лучший книжный магазин города, где были 
представлены книги по гуманитарным наукам и искусству. В отделе, посвященном новым 
медиа, размещались сотни книг, однако ни в одном из заголовков не упоминалась главная 


движущая сила «компьютерной эпохи» — софт. Я стал просматривать указатели, книга за 
книгой — никакого зо \аге. 

При этом уже в 1990-х годах инструменты, основанные на ПО, применялись во всех 
областях профессионального производства и дизайна медиа. В 2000-х эти разработки 
стали доступны сотням миллионов людей, ведущих блоги, публикующих твиты, 
выкладывающих фото и видео, читающих тексты на эс А и использующих бесплатные 
программные инструменты, которые еще десять лет назад стоили бы десятки тысяч 
долларов. 

Благодаря практикам, впервые введенным Сооз]е, мир теперь работает с веб- 
приложениями, которые навсегда остаются в бета-версии. Они могут быть в любой 
момент обновлены на удаленных серверах без участия пользователя — так, Сооз]е 
дорабатывает код своего поискового алгоритма примерно 600 раз в год. Добро 
пожаловать в мир постоянных изменений — мир, определяемый не редко 
модифицируемыми промышленными машинами, а программами, которые всегда «в 
движении». 

Софт стал универсальным языком, интерфейсом нашего воображения и нашего мира. 
Он стал для начала ХХ] века тем же, чем для начала ХХ века были электричество и 
двигатель внутреннего сгорания. Я представляю его себе как слой, проходящий сквозь 
все современное общество. Если мы хотим понимать сегодняшние методы 
коммуникации, репрезентации, симуляции, анализа, процесса принятия решений, памяти, 
зрительного восприятия, письма и интеракции, мы должны разбираться в софте. 

Однако в то время как исследователи и теоретики (новых) медиа охватывали все 
аспекты ГГ-революции, создавая такие новые сферы, как исследования киберкультуры, 
интернета, компьютерных игр, теория новых медиа, цифровые гуманитарные науки, — 
они уделяли сравнительно мало внимания программному обеспечению, которое является 
движущей силой практически всего того, что они изучают. 

Пришло время это изменить. 

Возьмем, например, современный «атом» культурного производства документ — 
содержание, сохраненное в материальной форме и доставляемое потребителям в виде 
физических копий (книг, фильмов, аудиозаписей) или транслируемое (телевидение). В 
софт-культуре больше нет «документов». Вместо них мы имеем дело с действием 
программного обеспечения. 

Я использую слово действие, поскольку наш пользовательский опыт конструируется 
софтом в реальном времени. Независимо от того, просматриваем ли мы веб-сайт, играем 
в видеоигру или используем приложение на мобильном телефоне, чтобы найти 
находящихся поблизости друзей или место, где можно перекусить, мы взаимодействуем с 
динамическими продуктами вычислительных процессов. 

Несмотря на использование статичных документов, исследователь не может просто 
обращаться к отдельному р4{- или ]рег-файлу так же, как в ХХ веке критики 
анализировали роман, фильм или телевизионную передачу. Софт зачастую не имеет 
четких границ. Например, пользователь @ооз]е Еаг®, скорее всего, будет сталкиваться с 
разной «Землей» при каждом использовании приложения. Соо$е может обновить 
некоторые фотографии со спутника, добавить новые панорамы улиц или ЗО-изображения 
зданий. Пользователь приложения также может в любой момент загрузить еще и 
геопространственные данные, созданные другими пользователями или компаниями. 

Сооз[е Еайй — не просто «сообщение». Это платформа, на которой пользователи 
могут что-либо создавать. И хотя мы можем найти в этом продолжение уже имевших 
место в ХХ веке пользовательских практик креативного переосмысления коммерческих 
медиа (поп-арт, апроприационизм, ремиксы, слэш-тексты и слэш-видео и т. д.), различий 
здесь больше, чем сходств. 


Даже когда пользователь работает только с одним локальным медиафайлом на своем 
компьютере, его/ее опыт лишь отчасти определяется содержанием и структурой файла. 
Пользователь может свободно перемещаться по документу, выбирая, какую именно 
информацию ему видеть и в каком порядке. (В боозе ЕацВ, например, можно 
увеличивать и уменьшать масштаб, переходя от вида с высоты птичьего полета к деталям 
местности, а также переключаться между разными типами карт.) 

Важнее всего то, что софт жестко не привязан ни к одному документу или устройству: 
можно добавлять новые инструменты, не изменяя при этом сами документы. Достаточно 
одного клика, чтобы добавить в мой блог кнопку «Поделиться», обеспечив тем самым 
новые траектории циркуляции контента. Открыв текстовый документ в Мас ОЗ Ргемем, я 
могу выделять текст цветом, добавлять комментарии и ссылки, рисовать и добавлять 
заметки. РВоозВор позволяет мне сохранять правки в отдельных «корректирующих 
слоях», не меняя исходное изображение. И так далее. 

Все вышеописанное требует новых подходов к анализу медиа и культуры. С начала 
2000-х годов некоторые из нас (в основном те, кто занимается исследованиями новых 
медиа и цифровым искусством) работают над поиском этих подходов. Насколько мне 
известно, в 2001 году я был первым, кто использовал термины исследования софта 
(зо\аге за 1ез$) и теория софта (зоЁ\аге Феогу). Область исследований программного 
обеспечения последовательно формировалась в середине 2000-х. В 2006 году Мэттью 
Фуллер, автор фундаментальной работы «За сигналом: эссе о культуре программного 
обеспечения» [1], организовал первый воркшоп по исследованиям софта в Роттердаме. «В 
теории и исследовании компьютерных и сетевых цифровых медиа софт зачастую остается 
слепым пятном», — пишет Фуллер во введении к воркшопу. «В известном смысле вся 
интеллектуальная работа сейчас стала „исследованием программного обеспечения“, 
поскольку софт является ее медиа и контекстом, однако практически нигде, кроме сферы 
программной инженерии, не изучается специфика софта, его материальность». 

В 2007 году мы основали лабораторию ЗоЁй\аге 5аЧез шаануе в Калифорнийском 
университете Сан-Диего [2], ав 2008-м провели второй воркшоп по исследованиям софта. 
Издательство Массачусетского технологического института начинает выпуск серии, 
посвященной исследованиям софта, а также все большего количества книг по другим 
областям (медиатеории, исследованиям платформ, цифровым гуманитарным наукам, 
исследованиям интернета и компьютерных игр), которые также помогают нам лучше 
понять, какую роль программное обеспечение играет в нашей жизни. В 2011 году Фуллер 
вместе со своими британскими коллегами создали рецензируемый журнал с открытым 
доступом «Вычислительная культура» [3]. 

Однако многое еще предстоит сделать. Вопрос, который волнует меня в особенности, 
состоит в том, какой вклад исследования софта могут внести в сферу больших данных — 
анализа огромных массивов данных — в таких областях, как цифровые гуманитарные 
науки, вычислительные социальные науки и социальный компьютинг. Ниже я приведу 
некоторые ключевые вопросы относительно больших культурных данных, ответы на 
которые могут помочь найти исследования софта. 

Что является «данными» в интерактивных медиа? 

Программный код во время его выполнения, записи действий пользователя 
(например, кликов или движений курсора), запись видео с его экрана, его мозговая 
активность, записанная с помощью ЭЭГ или МРТ? Все это вместе или что-то еще? 

За последние несколько лет все больше исследователей из сферы цифровых 
гуманитарных наук начали использовать вычислительные инструменты для анализа 
больших массивов статичных оцифрованных артефактов культуры, таких как романы 
ХХ века или письма мыслителей эпохи Просвещения. При этом традиционный подход 
гуманитарных наук — рассмотрение самих культурных объектов, а не взаимодействия 
людей с этими объектами, — сохраняется. Меняется масштаб — но не метод. 


Изучение софт-культуры требует фундаментально иной гуманитарной методологии. 
Нам необходимо иметь возможность фиксировать и анализировать опыт взаимодействия, 
следуя за отдельными пользователями в их навигации по веб-сайту или во время 
прохождения видеоигры; изучать других игроков, а не опираться при анализе лишь на 
свой личный игровой опыт; наблюдать за посетителями выставки, изучающими 
возможности интерактивной инсталляции, заданные ее дизайнером, — возможности, 
становящиеся актуальными событиями только тогда, когда посетители их реализуют. 

Другими словами, нам нужно понять, как корректно представить «действие софта» в 
виде «данных». Некоторые решения могут прийти из области человеко-компьютерного 
взаимодействия, в которой специалисты как из научных кругов, так и из частных 
компаний занимаются исследованием взаимодействия людей с компьютерными 
интерфейсами. Чаще всего эти исследования имеют прикладные цели: выявить проблемы 
в новых интерфейсах и исправить их. В цифровых гуманитарных науках для анализа 
интерактивных медиа ставится иная задача: понять, как люди конструируют смыслы в 
результате взаимодействия с интерфейсом и каким образом их социальный и культурный 
опыт опосредован программным обеспечением. Таким образом, нам необходимо 
развивать свои собственные методы записи, анализа и визуализации опыта 
взаимодействия. Например, моя лаборатория совместно с Ехрегиптета| Сате Г.аб, которой 
руководит Шелдон Браун, проанализировала опыт сотен пользователей 
«Масштабируемого города», комплексной художественной УК-инсталляции, созданной в 
лаборатории Брауна [4]. Одна из наших целей заключалась в том, чтобы помочь будущим 
пользователям испытать более провокационный опыт взаимодействия с инсталляцией. 

Кто имеет доступ к подробным записям о взаимодействии пользователей с 
культурными артефактами и сервисами в интернете, и каковы возможные последствия 
того, что эти данные станут доступны для анализа? 

С самого возникновения интерактивных интерфейсов человек-компьютер проследить 
взаимодействие пользователя с софтом было достаточно просто. Почему? Потому что 
программное обеспечение непрерывно отслеживает входные сигналы, такие как нажатия 
клавиш, движения мыши, выбор пунктов меню, движение пальцев по сенсорной 
поверхности и голосовые команды. 

Переход от десктопного компьютинга к веб-компьютингу в 1990-х годах превратил 
уже существующую возможность записи и хранения пользовательских действий в 
основной компонент «софт-медиакомплекса». Поскольку динамические веб-сайты и 
сервисы (онлайн-магазин Ата7оп, личные блоги, использующие систему Соозе В]оссег, 
онлайн-игры и т. д.) управляются программами, находящимися на серверах компании, 
фиксировать детали пользовательского взаимодействия не составляет никакого труда. 
Каждый веб-сервер хранит детальную информацию обо всех посещениях каждого сайта. 
Также существует отдельная категория ПО и сервисов вроде Соозе Апауйсз$, возникших 
для помощи в настройке дизайна веб-сайта или блога. 

Сегодня компании, занимающиеся социальными медиа, открывают своим 
пользователям доступ к части записываемой информации о взаимодействии посетителей 
с сайтами пользователя, его блогами или аккаунтами. Эти компании также предлагают 
интерактивные визуализации, позволяющие определить, что из опубликованного 
наиболее популярно и откуда приходят посетители. Но обычно действительно подробные 
данные компании оставляют при себе. Поэтому, если вам повезло быть одним из 
немногих социальных исследователей, работающих в таких гигантах, как НасебооК или 
Сооз[е, у вас есть невероятное преимущество перед вашими академическими коллегами. 
Вы имеете возможность задавать вопросы, которые не могут задать другие. В будущем 
эта ситуация может создать серьезный разрыв между академическими исследователями и 
корпоративными. Ёсли последние смогут анализировать социальные и культурные 
паттерны и на микро-, и на макроуровне, первые будут иметь доступ только к нормальной 


«оптике», которая не позволяет ни рассмотреть что-либо с максимальным приближением, 
ни охватить планетарный масштаб. 

Кто заинтересован в анализе культурных практик сотен миллионов людей? 

Автоматическое таргетирование рекламы в бооФе, КасебооК и Тум@ег уже использует 
тексты постов пользователей, их письма и другие данные. Однако знание того, как сотни 
миллионов людей взаимодействуют с миллиардами изображений и видео в социальных 
сетях, могло бы не только помочь в создании более успешной визуальной рекламы, но и 
позволить исследователям поднимать новые вопросы. 

Можем ли мы анализировать программный код? 

Это не так просто, как может показаться. Уже сам по себе код является «большими 
данными». 

Ранние программы вроде видеоигр 1970-х годов были относительно короткими. Но 
уже в любом современном коммерческом веб-сервисе или операционной системе 
программный код попросту будет слишком длинным и сложным, чтобы можно было 
читать и интерпретировать его наподобие рассказа. Если \шао\з МТ 3.1 (1993) по 
оценкам содержала 4—5 миллионов строк кода, \Мш4о\з$ ХР (2001) насчитывала уже 
около 40 миллионов. Мас ОЗ оказалась еще больше: код ОЗ Х 10.4 (2005) состоял из 86 
миллионов строк. Код АдоБе Сгеайуе зице 3, включающего РВоюзБор, Шизигаюг и 
несколько других популярных приложений для создания медиа, насчитывает 
80 миллионов строк. 

Постепенный переход от десктопных приложений к интернет-приложениям привел к 
возникновению нового ряда обстоятельств. Веб-сервисы, веб-приложения и 
динамические сайты зачастую используют многоуровневую программную архитектуру, 
где несколько отдельных модулей (например, веб-клиент, сервер приложений и база 
данных) работают вместе. Особенно в случае больших коммерческих сайтов, таких как 
Ата7оп, то, что пользователь воспринимает как единую веб-страницу, может включать в 
себя непрерывные взаимодействия между десятками или даже сотнями отдельных 
программных процессов. 

Сложность и распределенная архитектура современного софта ставят серьезные 
проблемы перед идеей «чтения кода». Однако, даже если программа является 
относительно короткой, а исследователь культуры отчетливо понимает, что она должна 
делать, такое понимание логической структуры программы не позволяет представить 
реальный пользовательский опыт. 

Привлекательность «чтения кода» в качестве подхода для гуманитарных наук 
заключается в том, что оно создает иллюзию наличия статичного и законченного текста, 
который можно изучить, т. е. листинга программы. Но все же мы должны признать 
фундаментальную изменчивость реального «действия софта». Таким образом, вместо 
того чтобы анализировать код как абстрактную сущность, мы можем проследить за тем, 
как он выполняется, или «действует», в конкретных пользовательских сессиях. Пользуясь 
терминами лингвистики, вместо того чтобы рассматривать код как язык, мы бы хотели 
изучать его как речь. 

Марк Марино и другие исследователи, работающие в сфере «критических 
исследований кода» (Спаса| Со4е Зи41ез), разрабатывают продуманные, теоретически 
строгие и продуктивные идеи о том, что значит «читать код», поэтому моя критика 
направлена лишь против наивной версии этой идеи, с которой я иногда сталкиваюсь в 
гуманитарных науках. 

Ключевой задачей исследований софта является развитие методов изучения 
современного программного обеспечения с тем, чтобы не-программисты могли 
обсуждать эти темы в статьях, на конференциях и в публичных дискуссиях. Однако, 
учитывая сложность программных систем и тот факт, что по крайней мере сейчас лишь 


очень немногие исследователи медиа и культуры умеют программировать, я не 
рассчитываю на то, что мы сможем решить эту задачу в ближайшее время. 

Тем не менее постановка этого вопроса крайне важна не только для научных кругов, 
но и для общества в целом. Каким образом мы можем публично обсуждать решения, 
принимаемые поисковыми алгоритмами @оое или алгоритмами ГКасеБоок, которые 
контролируют то, что мы видим в нашей ленте новостей? Даже если бы эти компании 
сделали все свое программное обеспечение открытым, из-за его объема и сложной 
структуры публичное обсуждение было бы крайне проблематичным. 

Некоторые нюансы работы популярных интернет-компаний публикуются в 
академических статьях, написанных исследователями из этих же компаний, но они могут 
быть понятны лишь тем, кто знаком с компьютерными науками и статистическими 
методами. Более того, во многих популярных программных сервисах используется 
технология машинного обучения, которая зачастую приводит к решениям в стиле 
«черного ящика» (программа получает желаемые результаты, но мы не знаем, как именно 
она это сделала). 

По мере того, как наш культурный опыт, социальные взаимодействия и процесс 
принятия решений продолжают все больше управляться масштабными системами ПО, 
чрезвычайно важной становится возможность обсуждения среди непрофессионалов того, 
как эти системы работают. Сможем ли мы получить достаточное количество информации 
о «поведении» софта, если сведем каждую комплексную систему к одностраничному 
описанию ее алгоритма? Или нюансы конкретных решений, принятых программным 
обеспечением в каждом отдельном случае, будут упущены? 

Роль исследований софта заключается не в том, чтобы ответить на эти и многие 
другие вопросы о нашем новом интерактивном мире, а скорее в том, чтобы обозначить их 
и предложить различные подходы к их рассмотрению. И конечно, чтобы подтолкнуть 
исследователей из других дисциплин к размышлению о том, как софт меняет то, что они 
изучают, и то, как они это изучают. 

В проекте РЬоюобгаЦ$, реализованном совместно с Надавом Хохманом и Джеем Чоу, 
мы визуализировали паттерны использования [ш$(астат на материале 2,3 миллиона 
фотографий из 13 мегаполисов [5]. В сопроводительной статье мы попытались 
объединить две противоположные стороны исследований софта: с одной стороны, 
осмысление программных интерфейсов и того, как они влияют на наши действия, и, с 
другой стороны, изучение поведения множества пользователей ПО на макроуровне [6]. 
Один из важнейших поднятых нами вопросов был о том, сколько различий между 
городами мы сможем обнаружить, принимая во внимание тот факт, что все используют 
одно и то же приложение ш$астгат, которое включает в себя собственное веское 
«сообщение» (все фотографии должны быть одинакового размера и квадратной формы, а 
все пользователи имеют доступ к одинаковому набору встроенных фильтров для 
придания большей эстетической ценности фотографиям одними и теми же способами). И 
хотя мы нашли небольшие, но систематические отличия в фотографиях из каждого 
города, примечательно, что само программное обеспечение шУаетат непременно 
использовалось одинаково. 

Как использование того или иного софта влияет на то, что мы можем представить и 
выразить? Должны ли мы и дальше опираться на решения, сделанные за нас алгоритмами, 
если мы не знаем, как эти алгоритмы работают? Что значит быть гражданином общества 
программного обеспечения? Эти и многие другие важные вопросы еще ждут своего 
ответа. 


ЖЖ 
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В первом десятилетии ХХ] века исследователи в сферах гуманитарных и 
социокультурных наук постепенно начали осваивать вычислительные инструменты и 
визуализацию. Большинство подобных исследований, которые принято относить к 
цифровым гуманитарным наукам (01еКа1 Ниташаез$), было связано с текстами 
(например, с литературой, историческими документами или текстами из социальных 
медиа) и пространственными данными (с местоположением людей, объектов или 
событий) [1]. Визуальные же медиа оставались в этом десятилетии за пределами новой 
вычислительной парадигмы. Для того чтобы заполнить эту лакуну, в 2007 году я основал 
лабораторию эоЁ\аге эшез пиаануе в Калифорнийском университете Сан-Диего. 
Первой нашей целью была разработка удобных методов визуализации и вычислительного 
анализа больших коллекций изображений и видео, которые смогли бы использовать 
специалисты в областях исследований медиа, гуманитарных и социальных наук, не 
имеющие технического образования, а также применение этих методов на неуклонно 
увеличивающихся объемах медиаданных. Вторая цель была теоретической: исследовать 


существующие практики и базовые установки визуализации и вычислительного анализа 
данных (отсюда название эоЁЙ\аге 5 1е$ — «исследования софта»), а также 
сформулировать новые вопросы для исследования, которые ставят перед нами цифровые 
гуманитарные науки при анализе больших культурных данных в целом и визуальных 
медиа в частности [2]. 

Эта статья основывается на нескольких других, написанных мной после создания 
лаборатории. В них я рассматривал разработанные нами методы визуализации больших 
массивов визуальных медиа, их применение к различным типам медиа, а также историю 
этой области [3]. За более подробным описанием приведенных методов и детальным 
анализом их применения читатель может обратиться к этим статьям. Главной же целью 
данной является объединение основных теоретических положений, разработанных в 
упомянутых текстах. 

Также я хотел бы прояснить связи между некоторыми ключевыми понятиями, 
касающимися визуализации медиа в гуманитарных исследованиях: артефакт, данные, 
метаданные, признак, картографирование (таррил>) и рекартографирование (гетарр!пэ). 
Мы можем устанавливать отношения между ними тремя способами. Во-первых, можно 
рассматривать их вместе с другими связанными с ними понятиями как серию оппозиций: 
артефакт у$. данные, данные у$. метаданные, пристальное уз. дальнее чтение [4]. Во- 
вторых, поскольку сочетание этих понятий соответствует основным концептуальным 
этапам, используемым в различных методах визуализации, мы можем теоретически 
осмыслять каждый из этих этапов (перевод артефактов в данные, добавление новых 
метаданных, извлечение признаков, картографирование и рекартографирование данных в 
визуальную репрезентацию). В-третьих, мы можем выстраивать наше рассуждение с 
точки зрения этих методов. Например, визуализация может отображать метаданные 
артефактов или сами артефакты, исследователь может использовать уже существующие 
метаданные или добавлять новые. Концептуальное описание этих базовых методов — 
третья цель настоящей статьи. Они рассматриваются с точки зрения двух концептуальных 
аспектов. В первом ставится вопрос о том, что является главным объектом визуализации: 
данные или метаданные. Второй аспект предполагает два основных для визуализации 
способа дополнения исходных данных новой информацией: ручное аннотирование и 
автоматическое извлечение признаков. 

Поскольку моя лаборатория фокусируется на работе с массивами визуальных 
медиаданных: фотографий, произведений искусства, фильмов, мультфильмов, 
анимированной графики, видеоигр, книжных страниц, обложек и страниц журналов 
ит. д., — все описываемые нами методы применимы ко всем типам визуальных медиа. 
Тем не менее, как я покажу ниже, не каждый из них сработает на каждом типе медиа из-за 
некоторых особенностей изображений и человеческого зрения. 


Художественная визуализация и гуманитарные науки 


На сегодняшний день существует множество методов визуализации [5 |. И хотя до сих пор 
не было создано системной истории их развития, не была описана их связь с 
потребностью современного общества и науки в анализе и управлении все большими 
объемами данных и в последнее время все более возрастающими возможностями 
компьютерных технологий, по меньшей мере основные вехи известны [6]. Например, 
такие популярные программы, как Ехсе], Таеая, Мапу Еуез и др., предлагают набор 
методов построения графиков, которые были разработаны еще в первых десятилетиях 
ХХ века: круговые, столбчатые и лепестковые диаграммы, гистограммы, диаграммы 
рассеяния и т. д. К этому же периоду относят создание двумерных тематических карт, 
позволяющих визуализировать данные из разных областей знания. Распространение 
компьютеров привело к появлению множества новых методов и постепенному росту 
информационной плотности представлений данных, поскольку программы теперь 


позволяли визуализировать намного большие объемы информации, чем те, с которыми 
можно было работать вручную. Стремительное развитие технологий компьютерной 3О- 
графики в 1980-х годах сделало возможным возникновение новой сферы — научной 
визуализации. Следующая волна была связана с развитием информационной 
визуализации в 1990-х годах, когда появились новые двумерные техники (такие, как 
гиперболическое дерево и древовидная карта) для представления нечисловых данных. 

В конце 1990-х информационная визуализация стала привлекать внимание 
художников, работающих с новыми медиа. К 2004 году ими было создано столько 
проектов, что можно было с уверенностью говорить о появлении новой области — 
художественной визуализации [7]. Несмотря на то, что эта новая культурная сфера 
продолжала развиваться, а проекты, связанные с визуализацией, выставлялись в 
крупнейших музеях, сам термин не был определен окончательно. (К слову, самые 
известные примеры художественной визуализации были созданы профессиональными 
дизайнерами Беном Фраем и Ли Байроном, а также ученым Мартином Ваттенбергом.) 
Иногда художественную визуализацию определяют, противопоставляя ее 
«традиционному» применению визуализации в науке, бизнесе и массмедиа. В этих сферах 
ее использование функционально, а цель дизайнера — представить взаимосвязи в данных 
клиента, не привнося никакого субъективного высказывания (мы называем 
это нейтральным дизайном), в то время как задачей проектов художественной 
визуализации является именно субъективное высказывание. Иными словами, цель не в 
самом представлении данных, а в создании высказывания о мире и человеке через выбор 
определенных массивов данных и способов их презентации [3]. 

Благодаря цифровым художникам и дизайнерам с ростом популярности 
художественной визуализации продолжало расти и число людей, вовлеченных в эту 
сферу. (Важными факторами здесь стали создание высокоуровневого графического языка 
Ргосез;11е, разработанного специально для художников, и доступность данных 
крупнейших социальных медиа через АРТ [9].) Постоянное соревнование в форме стало 
еще одной отличительной чертой художественной визуализации. Можно сказать, что ее 
история вошла в новый, «модернистский», этап, где изобретение новых методов (или по 
крайней мере новых вариаций уже существующих) стало цениться само по себе. Так, 
исследование, посвященное самым влиятельным проектам художественной визуализации 
2000-х годов, показало, что ни в одном из них не были использованы уже известные 
методы. Каждый из них положил начало новым, причем некоторые из них получали свое 
собственное название и позже были использованы другими дизайнерами (например, 
дуговые диаграммы из проекта «Форма песни» Мартина Ваттенберга [10] и потоковый 
график из «Истории прослушиваний» Ли Байрона | 11]). Другие методы получали 
применение лишь в одном проекте («Поток истории» Фернанды Б. Вьегас и Мартина 
Ваттенберга [12], «Происхождение видов: сохранение избранных отпечатков» Бена Фрая 
[13]. 

Тем не менее художественные проекты, в которых предложены действительно новые 
методы визуализации, — скорее исключение из правил. В большинстве проектов авторы 
приспосабливают под себя уже существующие. Возьмем сайт у1зиасотрехку.сот, 
авторитетную коллекцию проектов, в которых визуализируются сложные сети. Этот 
проект с 2004 года курирует дизайнер и писатель Мануэль Лима. При просмотре этой 
коллекции, состоящей более чем из 700 визуализаций, может возникнуть впечатление 
практически бесконечного визуального разнообразия. Однако при использовании 
фильтра «метод» мы увидим, что многие из этих работ представляют собой вариации 
небольшого количества одних и тех же методов визуализации |[ 14|. (Иначе говоря, 
сегодня визуальное разнообразие в этой сфере отчасти является следствием 
использования софта, позволяющего воспроизводить одни и те же базовые схемы 
визуализации []ауой{$ | множеством разных способов.) 


Бесконечные вариации небольшого числа основных методов и схем визуализации на 
плоскости могут отвлечь от еще одной важной константы, которая осталась неизменной 
со времен пропорциональных квадратов Шарля де Фуркруа (1782) и линейного графика и 
столбчатой диаграммы Уильяма Плейфера (1786) [15]. Почти все методы 
информационной визуализации используют небольшой словарь отдельных абстрактных 
элементов: прямые, кривые, прямоугольники, окружности и несколько других. Как 
правило, для маркирования этих элементов используется ограниченный набор отчетливо 
различающихся между собой цветов. Иными словами, визуальный язык графиков и 
визуализации совпадает с языком модернистской геометрической абстракции (1912) и 
модернистского графического дизайна (1919). Можно ли сказать, что графики, которые 
впервые начали появляться во второй половине ХУЦ века и стали общим местом в 
научных публикациях в первой половине Х[Х века, стали предтечей абстрактного 
визуального языка в искусстве и дизайне, возникшего сто лет спустя? Это лишь один из 
многих вопросов, на которые предстоит ответить будущим историкам визуализации | 16]. 

Как мы можем использовать визуализацию в гуманитарных науках и исследованиях 
медиа? Обычно последовательность этапов ее создания включает получение данных, 
приведение их в подходящий формат и преобразование в изображения или анимацию с 
использованием уже существующих или новых методов с помощью существующего или 
специально созданного для этих целей софта. Если мы хотим визуализировать 
имеющиеся данные о культурных артефактах, например списки популярных книг на 
сайте Ата7оп, количество произведений искусства разных исторических периодов и 
жанров в музейных коллекциях, даты и места написания десятков тысяч писем 
мыслителей эпохи Просвещения (как в проекте Стэнфордского университета 
«Картографирование Республики писем») [17], — мы можем соблюдать ту же 
последовательность действий. В этом процессе информация о медиаартефактах и их 
свойствах сводится к привычным графическим элементам визуализации (точкам, линиям 
и др.). 

Но может ли визуализация поддерживать — и, возможно, даже дополнять — 
основную методологию гуманитарных наук: системное и детальное исследование самих 
культурных артефактов, а не только данных о социальной и экономической жизни этих 
артефактов? Например, в проекте «Картографирование Республики писем» визуализация 
успешно используется для изучения паттернов в переписке европейских мыслителей 
эпохи Просвещения. Может ли визуализация непосредственно продемонстрировать все 
письма эпохи Просвещения, а не только информацию о датах, авторах и местах их 
написания, — так, чтобы мы могли прочитать любую часть этих писем и при этом видеть 
общие паттерны? Или возьмем другой пример. Может ли визуализация стать 
продолжением идеи Андре Мальро о «музее без стен» (сравнении тем и формальных 
элементов всех заснятых на пленку произведений искусства [18]), которую он предложил 
в середине ХХ века: сделать возможным сравнение миллионов профессиональных 
произведении искусства, доступных на сайтах музеев, или миллиардов произведений, 
которые пользователи выкладывают в социальных сетях? Иначе говоря, как можно 
объединить микроскопическое и телескопическое видение, пристальное и дальнее 
чтение — «чтение» самих артефактов и «чтение» общих паттернов, выявленных из 
огромных массивов этих артефактов. 

1. Андре Мальро работает над книгой «Воображаемый музей», 1947 год 





Медиа у$. данные 


Обычно дизайнер по визуализации работает с клиентом, который предоставляет данные. 
Задача дизайнера состоит в том, чтобы найти лучший способ представить эти данные так, 
чтобы стали очевидны имеющиеся в них взаимосвязи и паттерны. Если же вы 
исследователь из сферы гуманитарных наук или медиа, никаких «данных» для начала 
работы у вас нет. Вместо них есть конкретные артефакты, которые могут принадлежать 
абсолютно разным областям культуры: цифровой контент, созданный пользователями, 
интерактивный дизайн, веб-дизайн, компьютерные игры, веб-сайты, блоги, книги, 
фотографии, визуальное искусство, фильмы, мультфильмы, анимированная графика, 
графический дизайн, промышленный дизайн, мода, дизайн пространства и т. д. Это 
означает, что мы не можем исходить из принятого по умолчанию предположения о том, 
что у нас уже есть некие данные, которые мы должны визуализировать. 

При переводе артефактов в данные возникает ряд концептуально важных вопросов. 
Ниже я опишу лишь три из них [19]. 

1. Схема перевода в «данные» культурных артефактов, охватывающего их 
содержание, форму и использование (чтение, распространение, пересборка и т. д.), не 


стандартизована — во многих случаях ее приходится придумывать заново и теоретически 
обосновывать. Например, что является «данными» в случае веб-страницы? Для того 
чтобы поиск в интернете был реализован, алгоритмы Соозе извлекают более 250 
составляющих из каждой найденной веб-страницы: весь текст, все ссылки, шрифты и 
цвета каждого раздела, разметку страницы и т. д. (детали этого процесса хранятся в 
секрете). Подойдет ли мне такое представление веб-страницы, если я захочу исследовать 
и визуализировать эволюцию веб-дизайна после 1996 года, используя подборку из 150 
миллиардов сохраненных веб-страниц с сайта агсуе.ого [20]? Ответ, который кажется 
логичным, — это зависит от вопросов, которые я хочу задать (в случае с доозе целью 
является определение наиболее подходящих страниц по запросу пользователя). Тем не 
менее в отношении исследований медиа формулирование конкретных вопросов не 
позволяет использовать главную возможность визуализации: возможность изучения 
большого массива данных без заранее составленных представлений с целью понять, «что 
там на самом деле», и найти новые паттерны — вместо простой проверки заранее 
сформулированных гипотез. (Это можно назвать разведочной визуализацией.) 

Даже в случае с самыми привычными артефактами «старых медиа» вроде печатных 
книг не сразу очевидно, что считать «данными». Стандартный текстовый анализ 
предполагает работу с дематериализованным «текстом» без учета формата, в котором он 
представлен читателю. Однако пример с поисковой системой Соо$е подсказывает, что, 
если мы заинтересованы в рассмотрении литературы как печатного медиума, нам 
необходимо принимать во внимание все, что относится к ее видимой и материальной 
стороне: шрифты, цвета, межстрочный интервал, верстку, поля и даже вес книги. 

2. Перевод медиаартефактов в данные помимо знаний в предметной области зачастую 
требует специализированных технических знаний: при работе с изображениями — по их 
обработке, при работе с текстом — методов компьютерной лингвистики, при работе с 
музыкой — по обработке аудиосигнала. Приведу конкретный пример из деятельности 
нашей лаборатории. Мы выгрузили десятки тысяч страниц журналов эслепсе и Рор4аг 
эстепсе, выпущенных с 1870 по 1922 год, с боозе Воок$ и обнаружили, что на разных 
сериях страниц был разный уровень контрастности. Допустим, мы решаем нормализовать 
контрастность (решение, которое уже само по себе должно быть теоретически 
обосновано). Однако единственно правильного способа сделать это не существует. 
Можно использовать разные алгоритмы обработки изображений, каждый из которых в 
результате создаст собственный тип «данных». 

3. Перевод коллекций артефактов в данные и последующая их визуализация могут 
«вместе с водой выплеснуть и ребенка». Просмотр информационной визуализации 
данных, представляющей аспекты культурных артефактов, может привести к новому 
пониманию, но не заменит того, что мы воспринимаем при наблюдении самих 
артефактов. Это замечание особенно важно для будущего визуализации в гуманитарных 
науках, поскольку, возможно, самый важный вопрос, до сих пор остающийся без ответа, 
состоит в том, как мы можем объединить дальнее и пристальное чтение. Все 
традиционные методы визуализации используют некоторое упрощение для выявления 
паттернов; следствием такого упрощения становится не только видимость (новых 
паттернов), но и «непрозрачность» медиаартефактов, поскольку они со всеми своими 
деталями и эстетическим богатством заменяются абстрактными точками, 
прямоугольниками, линиями и кривыми. 

Иными словами, пристальное чтение и дальнее чтение (на котором основаны 
принципы информационной визуализации) производят разные типы знания. Просмотр 
облака тегов, показывающего наиболее частотные слова текста в порядке убывания 
количества употреблений, — совсем не то же самое, что внимательное чтение самого 
текста. Обратный пример: просмотр изображений девяти тысяч страниц из журнала 


Рорцаг эслепсе (рис. 2) отличается от изучения графика, который отражает лишь 
изменение метаданных об этих изображениях во времени. 

2. Каждая третья страница каждого выпуска журнала Роруаг эслепсе с 1872 по 1922 
год в порядке их выхода (слева направо и сверху вниз) 
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Это должно объяснить, почему в своем наброске новейшей истории визуализации 
заметное место я отвожу именно художественной. Это «художественное» измерение, 
будучи объектом интереса гуманитарных наук, проблематизирует стандартный процесс 
визуализации, в особенности перевод некой «реальности» в данные. Если 
репрезентативные культурные артефакты уже включают перевод — истории, видимого 
мира, памяти или другого типа «реальности» — в знаки артефакта, визуализация требует 
вторичного перевода, преобразующего материальность артефактов в форму, которую 
можно поместить в электронную таблицу или базу данных. Иначе говоря, это 
представление представления, карта карты. Как и в случае с каждой новой картой, она 
учитывает одно и отбрасывает другое, делает видимым одно и скрывает другое. 


Данные у$. метаданные 


Рассмотрев некоторые концептуальные и практические сложности перевода 
медиаартефактов в данные, допустим, что с этим мы закончили и теперь можем двигаться 
в наших рассуждениях дальше. Обычно мы предполагаем, что медиаартефакты 
сопровождаются некоторыми метаданными, записанными институциями, отдельными 
людьми или софтом. Например, в коллекции Айз$@г [21], где представлено более 
миллиона цифровых изображений произведений визуального искусства, архитектуры и 
фотографий, каждое из них сопровождается сведениями, включающими имя художника, 
год и страну создания, исходный размер и др. Метаданные каждого видео на УоцТибе 
включают категорию, теги, дату загрузки, количество просмотров, лайков и дислайков 

и т. д. Эти метаданные также должны быть проблематизированы: вместо того чтобы 
принимать используемые категории как данность, необходимо задаться вопросом об их 
достоверности. (Например, в случае социальных медиа зачастую встречаются 
метаданные, указывающие на страну, где проживает пользователь. Но что означает тот 
факт, что определенный пользователь живет в стране Х? Живет он в столице или в 
небольшом городке? Родился он там или недавно переехал туда учиться? Иными 
словами, априорное допущение о том, что люди из случайной выборки, указавшие в 
профиле страну Х, будут иметь что-то общее, ни на чем не основано.) 

Метаданные — это данные о данных. Обычно мы полагаем, что наша цель — 
изучение медиа и что метаданные призваны нам в этом помочь. Однако в силу того, что 
объемы медиа, создаваемых миллиардами пользовательских устройств, продолжают 
расти (просто представьте, сколько часов видео загружается на УоиТибе ежеминутно), 
непосредственное исследование медиаданных существующими методами становится 
невозможным. Вместо этого исследователи изучают метаданные: по объему они намного 
меньше собственно данных, поскольку содержат структурированную информацию о 
категориях, которую можно без труда изобразить графически и проанализировать, а 
также поскольку благодаря этому можно обнаружить информацию, которой нет в самих 
данных. Например, в проекте «Картографирование Республики писем» визуализация 
используется для изучения паттернов в переписке европейских мыслителей эпохи 
Просвещения. Это типичный пример анализа, в котором основным объектом 
исследования становятся метаданные. 

Еще один пример — проект моей лаборатории, в котором мы исследовали 
изображения с сайта РемлашАц, крупнейшей социальной сети, где выкладываются 
произведения искусства, созданные пользователями. Мы начали с выгрузки миллиона 
изображений, а также получили относящиеся к ним метаданные: имена пользователей, 
даты загрузки и категории, выбранные для каждого изображения его автором. Эти 
метаданные позволяют визуализировать изображения разными способами. Например, мы 
можем сопоставлять изображения, загруженные разными пользователями, рассматривать 
паттерны развития Реулащ Аи с 2000 года, используя даты загрузки, а также сравнивать 
изображения из разных категорий. 

3. Визуализация 180 тысяч произведений, позволяющая сравнить категории 
Традиционное искусство (сверху) и Цифровое искусство (снизу) в выборках с сайта 
РемащшАнк. В каждой визуализации использована выборка из 90 тысяч изображений, 
отсортированных по средней яркости и средней насыщенности 
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Однако структура категорий на Оеулат( А настолько интересна, что ее саму можно 
изучать в качестве артефакта. Она включает в себя почти две тысячи меток, 
организованных как иерархическое дерево с числом уровней вплоть до семи (например, 
Кастомизация / Скины и темы / Утилиты Гапиах и Ошх / Среды рабочего стола / КОЕ / 
Стили или Фотография / Люди и портреты / Спонтанные портреты). Эта структура 
представляет собой удивительный портрет воображаемого современной культуры. 
Сравнение этой системы с той, которая используется для описания визуальных медиа в 
музейной и академической сферах, обнаруживает огромную пропасть между 
институциями «высокой» культуры и реальным миром. Хотя такие категории, как 
скульптура, картина, рисунок или экспериментальный фильм, также представлены на 
РемлашщАц, у большей части категорий нет эквивалентов в «высокой» культуре 
(например, Шаблонные изображения, Уличное искусство / Стикеры или Цифровое 
искусство / Пиксельное искусство / Персонажи / Изометрия), и тем не менее они 
составляют значительную часть сегодняшнего «непрофессионального искусства». 

Таким образом, то, что является метаданными с одной точки зрения, может оказаться 
данными — с другой. 


Визуализация метаданных у$. визуализация медиа 


Метаданные обычно состоят из текста и чисел. Для представления этих типов данных нам 
доступно множество методов визуализации, разработанных за последние триста лет. Они 
включены в программы для визуализации, создания графиков и анализа данных, как 
бесплатные, так и коммерческие. Это еще одна причина, по которой практически любая 
визуализация артефактов гуманитарных наук имеет дело лишь с метаданными, но не с 
самими данными. 

В 2000-х годах лишь в нескольких проектах цифровых художников и дизайнеров была 
продемонстрирована возможность создания визуализаций, которые показывают не только 
информацию о коллекциях изображений или видео, но и сами изображения. В этих 
проектах предварительно отобранные кадры из фильма отображались в прямоугольной 
сетке в порядке их появления в фильме. Мы разработали бесплатные программные 
инструменты, где использовали эти методы, добавив при этом другие опции и обеспечив 
возможность их применения для больших коллекций статичных изображений. Мы 
успешно использовали методы из этих проектов с разными формами медиа, включая 
страницы журналов и газет, книги комиксов и манги, фильмы, анимацию и 
анимированную графику. 

С концептуальной точки зрения наиболее простой способ визуализации коллекции 
изображений [22| — представление изображений в виде сетки, структурированной 
существующими метаданными, такими как даты создания или загрузки. Мы называем 
этот метод монтажом коллекции. Его можно рассматривать как расширение основной 
интеллектуальной операции гуманитарных наук — сравнения артефактов. Однако если 
технологии ХХ века позволяли одновременно сравнивать лишь небольшое число 
артефактов — например, стандартным приемом при чтении лекций по истории искусств 
было проецирование на экран одновременно двух изображений, которые при этом 
обсуждались, — то теперь одновременно мы можем сравнивать множество изображений, 
выводя их на экран компьютера. Возможности компьютерной графики сегодняшних 
серийных устройств (включая смартфоны, планшеты, ноутбуки, настольные компьютеры) 
позволяют взаимодействовать с подобными визуализациями в режиме реального 
времени, если они содержат лишь несколько тысяч изображений, — их можно 
приближать, сортировать различными способами, используя любые доступные 
метаданные. Но мы также можем создавать и выводить на экран статичные визуализации, 
содержащие намного большее число изображений (например, с помощью написанной 
мной программы я создал визуализацию, отображающую миллион страниц манги). 

Это количественное расширение приводит к качественному изменению доступных 
нам способов наблюдения. Возможность одновременно демонстрировать тысячи 
изображений позволяет увидеть в них постепенные, едва различимые исторические 
изменения, определить, какие изображения типичны, а какие — уникальны, обнаружить 
паттерны подобия и различия в многочисленных наборах изображений любого объема и 
использовать множество других способов анализа. 

(Обратите внимание, что прямоугольная сетка — не единственный способ 
демонстрации коллекции изображений. На рис. 3 показан другой метод, который мы 
также часто используем. Здесь изображения отсортированы по двум категориям в 
соответствии с их визуальными характеристиками. Обычно этот способ позволяет 
представить коллекцию в виде облака с различной плотностью изображений в разных 
частях визуализации. Изображения со сходными характеристиками образуют компактные 
кластеры, а изображения с уникальными — располагаются отдельно от них. Этот метод 
расширяет привычную диаграмму рассеяния, добавляя поверх точек данных (Ааа ро1ш5) 
изображения. Как правило, мы называем показ самих изображений из коллекции 
медиавизуализацией, противопоставляя ее информационной визуализации, где 
демонстрируется лишь информация о коллекции.) 


Хотя монтаж коллекции и является наиболее простым с концептуальной точки зрения 
методом, довольно сложно теоретически определить его место среди существующих 
форм медиа. Если информационная визуализация обычно имеет дело с текстом, числами, 
сетевыми связями и другими, не относящимися к «визуальным медиа», данными, 
представляя их визуально, — уместно ли рассматривать монтаж изображений в качестве 
метода визуализации? В нашем случае мы начинаем с области визуального и в ней же 
остаемся: берем отдельные изображения и уменьшаем масштаб, чтобы увидеть их все. 
Иными словами, если стандартная информационная визуализация переводит данные в 
изображения, здесь мы переводим изображения в изображения. 

Полагаю, что называть этот метод визуализацией правомерно, если мы 
концентрируемся не на ее трансформационной операции (от невизуального к 
визуальному), а на другой ключевой операции: на создании схемы визуализации, т. е. 
упорядочивании элементов таким образом, чтобы пользователь мог обнаружить 
паттерны, которые трудно заметить в исходных данных. Например, нынешний интерфейс 
Соозе ВоокК$ не позволяет просматривать тысячи страниц журнала наподобие Рорчу1аг 
ослепсе на одном экране, поэтому исторические паттерны выявить затруднительно. Но 
если мы соберем все эти страницы и расположим их по определенной схеме 
(в прямоугольной сетке, сделав их одинаковыми по размеру), используя основной 
принцип информационной визуализации — унифицируя все визуальные аспекты, кроме 
тех, которые будут сравниваться, — тогда паттерны станут видимыми. 

В наиболее простом варианте монтаж изображений показывает все изображения из 
коллекции. Однако это не работает с видео: обычно изменения между двумя следующими 
друг за другом кадрами крайне незначительны, и демонстрация каждого кадра по 
отдельности лишает нас возможности увидеть общие паттерны временных изменений в 
содержании и визуальной форме. Целесообразнее было бы сделать выборку кадров из 
видео и показывать только ее (как делали в первых проектах художественной 
визуализации, о которых я упоминал). Мы также можем применять этот метод к любым 
медиа, где присутствует последовательность (зедчепиа! тед1а), например к страницам 
газет или книг комиксов. Анимированная визуализация, созданная моим студентом 
Сайрусом Киани, использует 5 930 первых полос газеты ТБе На\апап Уаг за период с 
1893 по 1912 год [23]. Эта визуализация впервые делает видимым то, как меняется с 
течением времени визуальный дизайн модернистских печатных медиа в поиске формы, 
соответствующей новым условиям восприятия и новому ритму современной жизни. (В 
ряду заметных культурных изменений этого периода: развитие абстрактного искусства, 
которое привело к возникновению модернистского графического дизайна; появление 
иллюстрированных журналов, таких как Уосие; распространение нового медиума — 
кинематографа; изобретение фототелеграфа и первой телефакс-машины для сканирования 
двумерного изображения.) 

Процедура выборки не должна восприниматься как механическая, т. е. как отбор 
одного кадра на каждую секунду видео, или как необходимая, если данных слишком 
много, как считалось в статистике ЖхХ-ХХ веков. Мы с легкостью можем создать 
визуализацию, отображающую более 160 тысяч кадров, составляющих обычный 
полнометражный фильм (90 минут = 5 400 секунд = 162 000 кадров из расчета скорости 
30 кадров в секунду), однако, как я объяснил выше, это не столь продуктивно. Вместо 
этого можно рассматривать процедуру выборки как творческую стратегию, которая 
может быть применима к любому аспекту медиаданных. Например, в случае коллекции 
изображений мы можем осуществлять выборку как во временном измерении (выбирая 
каждый п-ный кадр), так и в пространственном (выбирая только часть каждого 
изображения). 

Экспериментируя с разными способами компоновки этих медиавыборок, можно 
обнаружить новые паттерны. Например, я создал визуализацию, сопоставляющую первый 


и последний кадры каждого плана фильма «Одиннадцатый год» (1928) Дзиги Вертова. 
«Вертов» — неологизм, придуманный самим режиссером, который он взял в качестве 
псевдонима в начале своей карьеры. Это слово образовано от глагола вертеть. Фамилия 
намекала на базовое движение в киносъемке 1920-х годов — вращение рукоятки 
камеры, — а также на динамизм киноязыка, разработанного режиссером. Наряду с 
другими советскими и европейскими режиссерами, дизайнерами и фотографами этого 
десятилетия он хотел «остранить» привычную реальность, используя динамичные 
диагональные композиции и снимая с неожиданных ракурсов. Однако моя визуализация 
предлагает совсем другой образ Вертова. Почти каждый план «Одиннадцатого года» 
начинается и заканчивается практически одной и той же композицией и объектом. Иначе 
говоря, планы довольно статичны. 

Такой метод визуализации я называю рекартографированием. Почему? Любую 
репрезентацию можно рассматривать как результат процесса картографирования. Я 
использую этот термин не в смысле создания карты территории, а в более абстрактном, 
математическом, смысле: как функцию, устанавливающую соответствия между 
элементами двух областей. Известный пример такого рода картографирования — 
системы проекции для создания двумерных изображений трехмерных сцен, такие как 
изометрическая и перспективная проекции. Можно вспомнить и об известной триаде 
знаков, описанной Чарльзом Пирсом (икона, индекс, символ), как о разных типах 
картографирования связей между объектом и его репрезентацией [24]. 

Модернистские индустриальные медиа — фотография, кино, аудио- и видеозапись — 
привели к возникновению популярной художественной стратегии: использованию уже 
существующих медиаработ и созданию новых смыслов или нового эстетического 
эффекта с помощью сэмплирования и пересборки частей работы. Эта стратегия занимала 
центральное положение в современном искусстве начиная со второй половины 1950-х 
годов. Она по-разному проявляется в поп-арте, ремиксах, апроприационизме и 
значительной части медиаискусства: от первого фильма-компиляции «Кино» Брюса 
Коннера (А Моч\ме, 1958) до «24 часа Психо» Дугласа Гордона (24 Нопг РзусВо, 1993), а 
также работ «Невидимые формы прошедшего» Иоахима Сотера и Дирка Люзебринка 
(ТБе шу151Ые эВарез ог Т№пз$ Раз, 1995), «Каждый план, каждый эпизод» (Еуегу ЭВов, 
Куегу Ер1зоае, 2001) Дженнифер и Кевина Маккоев и множества других. 

Поскольку многие из этих медиаарт-проектов производят смыслы и эстетические 
эффекты, систематически пересобирая фрагменты исходных медиа в новых 
конфигурациях, представляется логичным определять их не просто как 
картографирование, а как рекартографирование. Если исходный медиаобъект — 
телепередача, фильм, газетная страница и т. д. — был оригинальной медиакартой 
«реальности», то арт-проект, реорганизующий его элементы, является 
рекартографированием. 

То, как мы отбираем и пересобираем элементы в новых конфигурациях, может быть 
концептуально связано с этой историей. И наоборот, многие арт-проекты, использующие 
стратегии сэмплирования и рекартографирования, задним числом могут быть 
рассмотрены как медиавизуализации. В них исследуются идеологические паттерны в 
массмедиа, проводятся эксперименты с новыми способами навигации по медиа и 
взаимодействия с ними, а также остраняются наши привычные способы восприятия. 

Хотя на первый взгляд цель медиавизуализации заключается лишь в «выявлении 
паттернов в данных», можно утверждать, что подобные визуализации более близки к 
медиаарту. Любое рекартографирование предполагает новую интерпретацию 
оригинальной медиакарты: не только расставление акцентов, но и новое прочтение 
материала и придание ему новых смыслов. 


Медиавизуализация дает ответ на ключевой вопрос о том, как совместить пристальное 
и дальнее чтение. Отдалившись, мы можем увидеть общие паттерны во всей 
медиаколлекции. Приблизившись, мы можем изучить детали отдельных изображений. 

Рассматривая медиавизуализацию из семиотической перспективы, можно сказать, что 
она порывает с традиционной семиотикой информационной визуализации. Абстрактными 
элементами последней являются символы — знаки, определяемые конвенциями. (В этом 
аспекте она может быть противопоставлена картам, обладающим значением по принципу 
подобия и, соответственно, с точки зрения семиотики, являющимся иконами.) 
Медиавизуализации показывают нам сами объекты, поэтому семиотического перевода не 
происходит. В отличие от символических репрезентаций объектов или их иконических 
карт, они становятся инструментами познания — новой эпистемологической 
технологией, которая стала возможной благодаря софту. 

Медиавизуализация опирается на наш навык мгновенного распознавания паттернов в 
отдельном изображении. Она создает новое изображение из всех имеющихся в коллекции 
(или из их выборок), организуя их таким образом, чтобы с той же легкостью можно было 
увидеть и паттерны, присутствующие во всех этих изображениях. Обратите внимание, 
что этот метод не работает в случае со звуковыми и текстовыми коллекциями, поскольку 
восприятие этих медиа (слушание и чтение) разворачивается во времени. Так, например, 
мы можем скомпоновать в одной визуализации с высоким разрешением тысячи писем, 
так же как мы поступаем с другими изображениями, но это не будет работать именно как 
визуализация. Однако если мы совместим сотни тысяч изображений (отсортированных по 
метаданным или визуальным признакам, описанным ниже), то паттерны обретут 
ВИДИМОСТЬ. 


Добавление новых метаданных У5. извлечение признаков 


Два вышеописанных базовых метода: использование информационной визуализации для 
выявления паттернов в метаданных и использование техник, заимствованных у медиа- и 
цифрового искусства, для отображения больших медиаколлекций или выборок из них (и 
использование метаданных для создания схем визуализации) — различаются в 
зависимости от того, что именно визуализируется. Информационная визуализация 
отображает метаданные о медиа, медиавизуализация — сами данные. Общим для них 
является то, что они не требуют добавления новой информации, — используются уже 
имеющиеся метаданные и содержание коллекции. 

Теперь я представлю два других метода, опирающихся на дополнение медиаданных 
новой информацией. Они отличаются друг от друга тем, как создается эта информация. 

В академических исследованиях медиа и гуманитарных науках, так же как и в 
социальных сетях, используется метод добавления тегов или других видов аннотаций 
(например, информации о категориях на сайте Ремлат Аго вручную с использованием 
естественного языка, на котором говорит исследователь (английского, китайского и т. д.). 
Так же и пользователи регулярно добавляют теги к изображениям, загружаемым на ЕйскКг 
(в качестве примера я использую этот сайт, поскольку именно благодаря ему приобрели 
популярность теги, ставшие затем стандартом для всех платформ социальных медиа). 
Если система тегов на ЕйсКг функционирует по принципу «открытого словаря», где 
любой пользователь может вводить новые теги, то в академической сфере обычно 
применяют модель «закрытого словаря», в которой сначала согласуется система тегов и 
лишь затем с ее помощью аннотируется медиаколлекция. 

Во многих социальных сетях вроде Оеула Ап для процедуры загрузки медиа также 
используются системы иерархической категоризации. Эти системы метаданных подходят 
нам лучше, чем обычные теги, но и к ним нужно относиться с осторожностью. Так, наше 
изначальное исследование подборки примерно из 280 тысяч изображений из двух самых 
популярных категорий: Традиционное искусство и Цифровое искусство — показало, что, 


хотя в основном большинство пользователей размещает свои публикации в подходящих 
категориях, многие этому правилу не следуют (например, в категории Живопись 
встречается много рисунков). Поэтому не стоит априори предполагать, что метаданные 
категорий распределяют данные правильным и «естественным» образом, — необходимо 
рассматривать данные и метаданные как две взаимосвязанные, но независимые сущности. 
Подобный подход приводит к двум выводам. С одной стороны, необходимо 
рассматривать сами метаданные как набор данных, которые требуют отдельного 
исследования. С другой стороны, автоматический анализ данных (который будет 
рассмотрен ниже), скорее всего, обнаружит кластеры и группировки, не совпадающие с 
распределением на основании метаданных. 

Современные социальные исследователи и специалисты в сфере качественных 
маркетинговых исследований применяют еще один способ описания набора объектов: 
ранжирование объектов по качественной или количественной шкалам. Этот подход 
можно использовать и для описания медиаартефактов: например, определяя по шкале от | 
до 5 абстрактным или репрезентативным является изображение из коллекции. 

Тем не менее, добавляем ли мы теги, создаем наши собственные категории и 
помещаем в них данные или используем оценку по шкалам, — все эти методы добавления 
новой информации в медиаколлекцию вручную имеют два серьезных ограничения. 
Первое состоит в том, что эти подходы не работают в случае с действительно большими 
массивами данных. Хотя один человек смог бы за день аннотировать каждый кадр 
полнометражного фильма, аннотирование семи миллиардов фотографий, которые 
ежемесячно выкладывают пользователи Гасебоок [25], даже с помощью 
краудсорсинговой платформы Атагхоп МесВвапса! 'ТагК было бы настоящим испытанием. 
(Некоторым компаниям успешно удается аннотировать крупные массивы медиаданных 
благодаря привлечению большого числа сотрудников. Например, функционирование 
системы рекомендаций музыкального сервиса Рапдога обеспечивается командой, которая 
оценивает каждую новую песню по 400 различным признакам; после десяти лет 
существования у компании накопилась база данных из 800 тысяч песен [26]. Новый 
сервис рекомендации произведений искусства Апзу, по слухам, имеет огромный штат, 
состоящий из специалистов в сфере новейшего искусства и истории искусств, которые 
дают характеристику каждому произведению по 800 параметрам [27 |.) 

Вторым ограничением является использование одной семиотической системы 
(естественные языки) для описания другой (визуальные медиа). Развитие языка 
происходило позднее развития органов чувств, и он послужил дополнением того, с чем 
они прекрасно умели справляться (восприятие аналоговых сигналов и различение их 
тонких градаций). Он позволяет размышлять о частном и общем, описывать временные 
связи, формировать абстрактные категориии различать качества — но не пытается 
соперничать с органами чувств в схватывании количественных различий. Поэтому 
количество слов, существующих в естественных языках для описания медиаэстетики, 
весьма ограниченно. Слова не способны охарактеризовать полный спектр вариаций цвета, 
текстуры, композиции, ритма, движения и всех остальных аналоговых свойств медиа. Это 
определенным образом влияет на исследование эстетики визуальных медиа, которая 
сегодня более чем когда-либо полагается на различия этих свойств. (Абстрактный 
визуальный язык, возникший в искусстве 1910-х годов, позже стал проникать во 
множество других сфер: в архитектуру, графический и промышленный дизайн в 1920-х, а 
затем — в моду, анимированную графику, веб-дизайн и дизайн пользовательского 
интерфейса.) 

Ограничение масштаба предполагает, что ручное аннотирование не будет работать в 
условиях исследования эстетики медиа, созданных пользователями, в том случае, если мы 
не хотим ограничиваться лишь очень небольшими выборками, а рассматриваем паттерны 
в крупных массивах данных (сеть РА содержит «всего» более 150 миллионов 


изображений). И все же ручной метод может применяться для небольших коллекций 
произведений искусства прошлого (например, для цифрового архива ВВС «Ваши 
картины» [Уопг Рашипз$ |, содержащего 200 тысяч полотен из музеев Великобритании 
[28]). Второе же ограничение действует всегда, вне зависимости от размера коллекции. 

Вместо ручного аннотирования мы можем использовать проверенные компьютерные 
методы, позволяющие автоматически обрабатывать и извлекать информацию об 
изображениях и видео. Эти методы применяются в сферах обработки изображений, 
компьютерного зрения, а также во многих исследовательских областях, связанных с 
поиском изображений по содержанию, реферированием видео, технологией 
видеоотпечатков и др. Часть этих методов известна пользователям: например, 
распознавание лиц в 1Рвоо и НКасеБоок или распознавание улыбки, применяющееся в 
цифровых камерах. Другие методы остаются невидимыми, но при этом составляют 
основу культуры цифровых медиа, поскольку они встроены во все медиаустройства и 
приложения. Например, при съемке на цифровую камеру с использованием 
автоматических настроек программа в чипе камеры сначала с помощью сенсора 
анализирует информацию о свете, измеряет цветовые значения и значение тона в каждом 
пикселе, а затем алгоритмически регулирует эти показатели для получения изображения с 
лучшей контрастностью. 

Различие между этими двумя базовыми методами дополнения данных — созданием 
новой информации вручную и с помощью компьютерной обработки изображений — 
касается не только процедуры. Эти два метода воплощают два способа понимания медиа. 
Когда мы присваиваем тег или аннотируем данные, кажется логичным описывать этот 
процесс как добавление дополнительной информации к медиа. Можно также сказать, что 
мы добавляем новые метаданные к уже существующим. 

В компьютерных науках процесс автоматического анализа изображений и видео 
называется извлечением признаков (Геа@иге ехгасйоп) [29]. Предполагается, что 
компьютер автоматически и объективно извлекает информацию, которая уже 
присутствует в изображениях или видео. Признаки — это статистические данные, 
объединяющие различные типы информации, которая может быть подсчитана во всех 
пикселях, составляющих изображение. Примерами таких данных могут быть средние 
яркость, насыщенность и тон, число контуров и их направленность, положение углов, а 
также сотни других параметров. В случае с видео, помимо анализируемых визуальных 
характеристик каждого кадра, также могут быть извлечены временные признаки, такие 
как места монтажных склеек и других типов перехода между кадрами (этот процесс 
называется обнаружением смены сцен). 

При практическом применении, таком как поиск изображений по содержанию 
(содержание здесь включает как изображенные объекты, так и их визуальные элементы, 
например преобладающие цвета), извлекаются сотни признаков с целью обеспечить 
максимально полную и при этом компактную репрезентацию каждого изображения. 
Следует отметить: хотя широко известно, что выбор признаков оказывает значительное 
влияние на успех каждого конкретного случая, не существует общей теории, которая 
определяла бы, какие признаки нужно использовать в разных случаях, поэтому этот 
выбор зависит от опыта исследователей. 

Эти два подхода — ручное аннотирование и автоматический анализ для извлечения 
признаков — имея свои сильные стороны, дополняют друг друга. Хотя компьютеры и 
могут улавливать мелкие детали визуальной формы, с их помощью крайне сложно 
определять репрезентативное содержание медиа (то, что изображено). Человек же может 
делать это без труда: на любом изображении мы мгновенно распознаем знакомые 
объекты (лицо, небо, дом, машина ит. д.). 

В свою очередь, естественные языки неспособны фиксировать тонкие различия в 
ненарративных визуальных характеристиках. Например, попробуйте описать словами 


паттерны движения в десятках тысяч анимированных графических работ на Верапсе или 
других сайтах-портфолио для дизайнеров [30]. Хотя наш мозг, разумеется, может 
оценивать эти едва заметные различия (иначе они бы не использовались повсеместно в 
визуальном искусстве и медиа), результаты этих оценок, определяющие наши 
эстетические и эмоциональные реакции на визуальные медиа, остаются недоступными 
для системы языка. 

Компьютеры же характеризуют детали визуальной формы не с помощью небольшого 
числа лингвистических категорий, а используя действительные числа. Допустим, мы 
поставили задачу измерить среднюю яркость изображения. В пользовательских цифровых 
медиа значение яркости обычно определяется по 256-битной шкале (Т. е. как один бит). 
Каждый пиксель изображения содержит значение серого от нуля (абсолютно черный) до 
255 (абсолютно белый). Для того чтобы измерить среднюю яркость, нужно сложить 
значения серого всех пикселей и разделить сумму на их общее количество. Результат 
будет действительным числом (например, 129,54 или 178,51). Это означает, что наша 
измерительная шкала оесконечна. Но даже если мы округляем эти числа, то у нас все 
равно остается шкала из 256 значений, характеризующих среднюю яркость, — очевидно, 
это обеспечивает более детальную систему описания по сравнению с несколькими 
терминами, доступными в английском языке (темный, умеренный, светлый). 

Подобным образом можно использовать числовую шкалу для определения 
преобладающих цветов, направленности всех линий изображения, размера и положения 
всех различимых форм, а также сотен других характеристик. 

Поскольку оба метода (ручное аннотирование и извлечение признаков) дополняют 
друг друга, при изучении больших массивов медиаданных мы можем их объединять. 
Например, в своем проекте по анализу изображений с сайта Оемлаш Ай мы пропустили 
миллион изображений через программу для их обработки, извлекая из каждого различные 
признаки. Также мы создали небольшую выборку из нескольких сотен изображений и 
вручную присвоили теги, описывая недоступные компьютеру характеристики. 


Медиавизуализация с использованием извлеченных признаков 


Признаки, извлеченные из медиаколлекций, можно изучать, используя стандартные 
методы информационной визуализации, такие как гистограммы и диаграммы рассеяния, 
однако эти техники также можно совмещать с методом медиавизуализации. Например, 
мы можем упорядочить все изображения по определенному визуальному признаку, а 
затем создать монтаж коллекции с использованием данных сортировки. Также можно 
создать двумерную диаграмму рассеяния, привязав отдельные признаки к горизонтальной 
и вертикальной осям координат, а затем на полученные точки наложить изображения. 
Этот метод визуализации, представляющийся нам особенно продуктивным, мы называем 
диаграммой изображений [31]. 

Эти диаграммы позволяют сравнивать коллекции изображений (или выборки из одной 
коллекции) по различным визуальным аспектам. В качестве примера приведен рис. 3, где 
показана диаграмма изображений, позволяющая сопоставить одинаковые по размеру 
подборки из категорий Традиционное искусство и Цифровое искусство с сайта 
Ремап(Ацк. 

Наш метод извлечения визуальных признаков и последующего их использования для 
медиавизуализации возник на основе существующих в компьютерной науке практик — 
но с одним важным отличием. В сферах, где применяется обработка изображений, 
например в компьютерном зрении, поиске и классификации изображений по содержанию, 
извлеченные визуальные признаки никогда не используются сами по себе. Вместо этого 
сотни признаков объединяются, создавая уникальную «подпись» для каждого 
изображения. Скажем, если пользователь хочет найти в базе данных все изображения, 
похожие на заданное, компьютер сравнивает подписи исходного изображения с 


подписями всех остальных и выдает картинки с наиболее схожими подписями. 
(Подобным образом работает сервис поиска изображений Соозе, запущенный в 2009 
году [32].) 

Этот подход может использоваться и для изучения медиа, например для определения 
всех лиц на картинах из музейной коллекции. Тем не менее, анализируя медиа с помощью 
компьютера и руководствуясь при этом только нашими априорными языковыми 
категориями, которые могут лишь указывать на тип содержания («люди», «лица» и т. д.), 
мы не используем другие впечатляющие возможности — возможности исследования 
больших данных с целью посмотреть, что там можно найти, и проблематизации наших 
привычных толкований и допущений на основе этого исследования. И если мы хотим 
начать со свободного изучения коллекции, чтобы обнаружить все имеющиеся в ней 
паттерны или сравнить ее части, достаточно использовать более простой метод. Хотя 
многие признаки, которые можно извлечь из изображений, для человека не значимы 
(например, различия между соседними пикселями по шкале серого, которые 
характеризуют текстуру), некоторые из них имеют прямое перцептивное значение. 
Примерами таких признаков являются контрастность, наиболее часто используемые 
цвета, средняя яркость или средняя насыщенность, использованные в визуализации на 
рис. 3. 

Сочетая этот простой, но действенный метод с диаграммой изображений, мы и 
исследуем визуальные коллекции. Изображения размещаются в координатах осей, 
которые определены значимыми для восприятия признаками. Этому методу можно 
обучить за одну встречу, и мои студенты-бакалавры успешно применяли его на многих 
занятиях. (Безусловно, в сочетании с диаграммой изображений можно также 
использовать существующие или добавленные семантические метаданные — например, 
на рис. 3 представлено сравнение двух выборок из нашей РеулатАп-коллекции с 
использованием существующей информации о категориях.) 

Разумеется, можно также сочетать отдельные визуальные признаки, чтобы получить 
характеристики визуальной формы более «высокого уровня», скажем, 
неподвижный/движущийся или плоский/трехмерный. Однако это нетривиальная задача 
[33]. Изначально неясно, какие признаки лучше всего характеризуют эти аспекты и как 
правильно их комбинировать. В компьютерном зрении и связанных с ним областях 
исследователи используют термин семантический разрыв для описания дистанции, 
которую необходимо преодолеть, между тем, что видит компьютер, — признаками, 
извлеченными из значений пикселей, — и содержанием и значением изображения, 
воспринимаемыми человеком. Недавно ученые ввели схожий с ним термин 
эмоциональный разрыв, определяемый как «отсутствие совпадений между измеряемыми 
параметрами сигнала, обычно называемыми признаками, и ожидаемым аффективным 
состоянием, в которое приходит пользователь, воспринимающий сигнал» [34]. Схожим 
образом можно говорить и о медиаэстетическом разрыве — дистанции между признаками 
низкого уровня и человеческими суждениями о визуальной форме медиаартефактов. 


Музей без стен, история искусств без имен 


В данной статье я рассмотрел некоторые ключевые понятия и операции, связанные с 
использованием визуализации для анализа медиа. Этими понятиями являются артефакт, 
данные, метаданные, признак, картографирование и рекартографирование. Они — 
строительные блоки, которые вместе формируют методы, позволяющие нам перейти от 
артефактов к их визуализации, но разными способами, с разными результатами и отвечая 
на разные вопросы. 

После того как медиаартефакты переведены в цифровые данные, мы решаем, что 
конкретно будем визуализировать. Традиционные методы информационной визуализации 
позволяют выявлять паттерны в метаданных, сопровождающих эти артефакты, в новых 


метаданных, добавленных исследователями вручную, или в признаках, автоматически 
извлеченных из представлений данных. Методы медиавизуализации, разработанные 
медиа- и цифровыми художниками и усовершенствованные в нашей лаборатории, 
позволили нам исследовать паттерны в самих данных изображений и видео, отображая 
целые коллекции, упорядоченные различными способами. Эти методы предлагают 
решение основополагающего вопроса цифровых гуманитарных исследований: как 
объединить макро- и микро-, дальнее и пристальное чтение. 

Хотя естественные языки и являются мощными инструментами описания 
репрезентативного и нарративного содержания медиа, они работают не столь успешно, 
когда речь идет об описании визуальной формы. Компьютеры же благодаря 
использованию больших числовых шкал могут гораздо более точно схватывать нюансы 
формы. В сочетании с доступными сейчас огромными массивами медиаданных 
(оцифрованных визуальных медиа, созданных до ХХ] века, и современных цифровых 
медиа, созданных как профессионалами, так и обычными пользователями) это открывает 
потрясающие исследовательские возможности. В ХХ веке исследователи опирались лишь 
на небольшие выборки, теперь же мы можем картографировать всю историю 
медиаэстетики, а также изучать паттерны в производстве, распространении и пересборке 
современных медиа, анализируя миллиарды артефактов. 

Следуя своей идее о воображаемом «музее без стен», ставшей осуществимой 
благодаря фотографическим репродукциям произведений искусства, Андре Мальро 
включил 638 снимков разных произведений в свою книгу «Голоса безмолвия» [35]. Для 
своего времени эта работа определенно была новаторской. Сегодня же с помощью 
медиавизуализации такая подборка может быть увеличена многократно, при этом число 
изображений будет ограничено лишь количеством того, что оцифровано и опубликовано 
музейными и другими коллекциями, или того, что можно найти в сети. (Чтобы собрать 
коллекцию без малого из шести тысяч оцифрованных работ импрессионистов, что 
составляет примерно половину от общего числа их живописных и пастельных работ, — 
нам пришлось искать их на множестве различных сайтов. Для нашего проекта, связанного 
с мангой, мы собрали более миллиона страниц комиксов с самых популярных фан-сайтов 
манги вместе с категориями, предложенными фанатами.) Упорядочивая изображения в 
интерактивном режиме с использованием как существующих метаданных, так и 
извлеченных признаков, отображая их в разных конфигурациях и накладывая другую 
историческую информацию, мы можем изучать их взаимосвязи способами, намного 
превосходящими простое парное сравнение слайдов на лекции ХХ века. 

Этот базовый для ХХ века метод истории искусства предложил Генрих Вёльфлин 
(1864—1945), после того как в 1897 году он стал заведующим кафедрой истории искусств 
в Базельском университете. Его метод обучения состоял в использовании двух 
проекторов, которые стояли друг рядом с другом и позволяли демонстрировать и 
сравнивать одновременно пары изображений. Однако фигура Вбльфлина важна для 
нашего рассуждения не только по этой причине. Предисловие к его классической книге 
«Основные понятия истории искусств» [36] называлось «История искусств без имен». 
Название отражает стремление основателей этой сферы — Вёльфлина, Ригля, 
Панофского — проанализировать в масштабе тысячелетий широкий спектр исторических 
изменений в визуальной репрезентации и форме, проявляющихся во всех произведенных 
артефактах, не ограничивая свои исследования небольшими выборками только лишь 
значительных объектов «искусства». Вёльфлин пишет: «Так как всякая история видения 
должна выводить за пределы чистого искусства, то само собою разумеется, что и эти 
национальные различия в устройстве глаза являются чем-то большим, чем только дело 
вкуса: обусловливая и сами будучи обусловленными, они содержат основы всей картины 
мира данного народа. Вследствие этого история искусства как учение о формах видения, 


притязает не только на роль отнюдь не обязательного спутника в обществе исторических 
дисциплин, но необходимо является как бы глазами этих дисциплин» [37]. 

Масштабная «история видения», с идеей которой выступали Вёльфлин и его 
современники, определенно может служить вдохновением для совместного 
использования вычислительного анализа и визуализации при изучении больших 
медиаколлекции. Гем не менее важно иметь в виду, что это поколение исследователей 
было ограничено не только выборками работ и методами сравнения, но и 
интеллектуальными парадигмами, которые заставляли их видеть в культурных 
артефактах выражение уникальных характеристик «духа», «ментальности» и «картины 
мира» различных «народов». 

Сегодня становится возможной другая «история искусств без имен». Подумайте о 
миллионах медиаартефактов, которые пользователи загружают в сеть, и о возможностях, 
которые они дают для изучения представлений современного человека, включая как их 
«содержание», так и модели подражания, распространения и инноваций, в мировом 
масштабе. Методы медиавизуализации позволяют изучать эти обширные коллекции, 
априори не уменьшая их до небольшого числа категорий, как это приходилось делать 
Вёльфлину и другим исследователям. И вместо того чтобы предполагать, что медиа, 
созданные пользователями со сходными демографическими характеристиками, имеют 
что-то общее (переводя гипотезу Вёльфлина на современный язык), мы можем сочетать 
извлечение признаков и медиавизуализацию для поиска кластеров схожих 
медиаобъектов, а затем проверять, согласуются ли они с демографическими данными о 
пользователях или с какими-либо другими устоявшимися категориями. 

В конечном счете визуализация может поспособствовать тому, чтобы подвергнуть 
сомнению существующие категории метаданных и способы разграничения объектов 
исследования, демонстрируя, что любой нарратив или любая карта, которые мы 
создаем, — это лишь одна из возможностей. Как говорит Бруно Латур, это «временная 
визуализация, которую при желании можно изменять и переворачивать, возвращаясь к 
отдельным компонентам, а затем подбирая другие инструменты для пересборки тех же 
элементов в другие ассамбляжи» [38]. 


ЖЖ 
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Введение 


Сможет ли когда-нибудь история искусств в полной мере сделать количественные и 
вычислительные методы частью своей методологии? На протяжении 2000-х и начала 
2010-х годов использование вычислительного анализа медленно, но систематически 
росло в литературоведении и истории, однако этого до сих пор не происходит в сферах, 
связанных с визуальным (в истории изобразительного искусства, визуальной культуре, 
исследованиях кино и медиа). 

Тем не менее история введения количественных методов в академических 
исследованиях свидетельствует, что и эти области рано или поздно также совершат свой 
«количественный поворот». В 2001 году Эдриан Рафтери отметил, что впервые 
количественные статистические методы стали использоваться в психологии в 1920-—1930- 
х годах, затем — в экономике в 1930-1940-х, в социологии в 1960-х и политологии в 
1990-х [1]. Сейчас, в 2015 году, мы также знаем, что гуманитарные сферы, работающие с 
текстами и пространственной информацией (вышеупомянутые литературоведение и 
история), проходят через этот процесс в 2000—2010-х годах. Поэтому я ожидаю, что 
«гуманитарные исследования визуального» следующими подружатся с цифрами. 


Эта адаптация метода, однако, не будет попросту сводиться к выявлению того, что 
может быть посчитано, и последующему применению классических статистических 
методов (которые были разработаны в 1930-х годах и до сих пор преподаются студентам 
почти без изменений) для анализа этих цифр. Она будет происходить в контексте 
главного для начала ХХ][ века социального и культурного события — возрастания роли 
больших данных и нового комплекса методов, конвенций и навыков, который стал 
называться наукой о данных (аа зслепсе). Наука о данных включает в себя классические 
статистические методы ХХ - начала ХХ веков, методы и понятия анализа данных, 
которые разрабатывались начиная с 1960-х с помощью компьютеров, и подходы из ряда 
областей, которые также развивались вокруг компьютеров во второй половине ХХ века: 
распознавания образов, информационного поиска, искусственного интеллекта, 
компьютерных наук, машинного обучения, информационной визуализации, добычи 
данных. Несмотря на то, что термин наука о данных сравнительно новый, он стал 
достаточно широко употребляться, поскольку является собирательным для наиболее 
часто используемых методов вычислительного анализа данных. (В качестве главного для 
этой статьи я также мог бы выбрать понятие машинного обучения или добычи данных, 
но, поскольку наука о данных включает в себя их методы, я решил, что если должен 
обращаться ко всему вычислительному анализу данных, используя лишь один термин, то 
наука о данных сейчас подходит для этого лучше всего.) 

Наука о данных включает в себя множество идей, развивавшихся не одно 
десятилетие, и сотни алгоритмов. Кажется, что это гигантский массив информации, — и 
это действительно так. Это гораздо больше того, что можно усвоить на протяжении 
одного-двух учебных курсов, обобщить в одной статье или представить в одном 
учебнике. Но вместо того чтобы просто выбрать определенные алгоритмы и методы из 
обширного арсенала науки о данных или заимствовать тот метод, который окажется 
самым новым и, соответственно, трендовым (например, тематическое моделирование или 
глубокое обучение), и попытаться применить их к истории искусств, важнее для начала 
осмыслить наиболее фундаментальные положения данной области как единого целого. 
Иными словами, занимаясь историей искусств (или работая в других гуманитарных 
сферах), мы должны изучить ключевые понятия, которые лежат в основе применения 
науки о данных в современном обществе. Для объяснения этих понятий не требуются 
формулы, и все они могут быть представлены в одной статье, что я и попытаюсь здесь 
сделать. (Как только мы дадим определение этим ключевым понятиям, многочисленные 
термины, используемые сегодня в науке о данных, станут чуть меньше смущать новичка.) 

Удивительно, но, прочитав за последние восемь лет тысячи статей и множество 
учебников, я не нашел ни одного краткого текста, который собрал бы все эти понятия в 
одном месте. В пособиях по науке о данных они зачастую представлены в контексте 
сложных математических методов или на конкретных примерах, что затрудняет 
понимание универсальности данных идей [2]. Обычно эти пособия сложно читать без 
знания компьютерных наук. 

Поскольку моя статья написана для гуманитарной аудитории, я был намеренно 
пристрастен: примеры применения основных понятий науки о данных взяты из 
гуманитарных наук, а не из экономики или социологии. Это также относится и к 
изложению материала. Я полагаю, что определенные методы науки о данных более 
релевантны для гуманитарных исследований, поэтому начинающие специалисты из 
сферы «количественных гуманитарных наук» должны сперва сосредоточиться на 
изучении и применении именно этих методов. 


От мира к данным 


С чего нам следует начать, если мы хотим использовать науку о данных, чтобы «понять» 
некоторое явление (т. е. то, что находится за пределами компьютера)? Как и другие 


направления, работающие с данными, такие как классические статистические методы и 
визуализация, наука о данных начинается с определенного представления какого-либо 
явления или процесса. Это представление может включать числа, категории, 
оцифрованные тексты, изображения, аудио, пространственное расположение, связи 
между элементами (сетевые отношения). Только после того, как такое представление 
сконструировано, мы можем работать с ним на компьютере. 

В общих чертах его создание требует принятия трех ключевых решений: 

1. Каковы границы изучаемого явления? Например, если мы хотим исследовать 
«современные общества», как нам следует с ними работать? Или, если мы хотим изучать 
«современное искусство», какие периоды, страны, художники, произведения или другая 
информация могут быть включены в работу? Вот еще один пример. Скажем, нас 
интересует современная «любительская фотография». Должны ли мы сосредоточиться на 
изучении определенных групп во ЕйскКг с работами людей, идентифицирующих себя как 
любителей или полупрофессиональных фотографов, или нам следует отбирать материал 
со всего пространства ЕйсКг, ш${астат или других сервисов, поскольку сегодня каждый 
обладатель мобильного телефона со встроенной камерой автоматически становится 
фотографом? 

2. Какие объекты будут представлены‘? В примере с современным искусством мы 
можем использовать следующие «объекты» (в науке о данных они также могут 
называться точками данных, записями, выборками, измерениями ит. д.): отдельных 
художников, отдельные произведения, переписку между художниками, рецензии в 
художественных журналах, отрывки из книг по искусству, аукционные цены. (Например, 
на выставке 2012 года «Изобретая абстракцию» в нью-йоркском МоМА была 
представлена сетевая визуализация, демонстрирующая связи между художниками на 
основе количества писем, которыми они обменивались [3]. В этом случае модернистское 
абстрактное искусство было представлено набором связей между художниками, а не 
вышеперечисленными объектами.) В примере с «обществом» мы можем выбрать 
обширный список случайно отобранных людей и изучать, чем они делятся в социальных 
медиа, их демографические и экономические характеристики, их связи друг с другом, 
ежедневные биологические показатели, считанные датчиками, которые они носят. Если 
мы хотим понять модель работы в больнице, мы можем использовать в качестве 
элементов людей (врачей, медсестер, пациентов и др.), а также процедуры, анализы, 
медицинскую документацию, снимки и т. д. 

3. Какие характеристики (или метаданные, признаки, свойства, атрибуты) каждого 
объекта мы будем учитывать’? В гуманитарных науках уже имеющиеся характеристики 
мы обычно считаем частью данных (поскольку они уже кем-то записаны), а 
характеристики, которые добавили мы сами (например, с помощью тегирования), — 
метаданными. В социальных науках процесс добавления описания данных вручную 
называют ручным кодированием. В науке о данных, как правило, используются 
алгоритмы для автоматического извлечения из объектов дополнительных характеристик 
(этот процесс называется извлечением признаков). Так, имена художников — это пример 
метаданных; средняя яркость и средняя насыщенность их картин или длина слов в 
названиях их работ — примеры признаков, которые могут быть извлечены компьютером. 
Обычно признаки являются числовыми описаниями (целыми или дробными числами), но 
иногда они принимают и другие формы. Например, компьютер может проанализировать 
изображение и сгенерировать несколько слов, описывающих его содержание. В целом и 
метаданные, и признаки могут включать разнообразные типы данных: числа, категории, 
произвольный текст, сетевые отношения, пространственные координаты, даты, время 
ИТ. Д. 

На рис. | дан пример визуализации, которая представляет большую коллекцию 
изображений с использованием признаков. 50 тысяч изображений, опубликованных в 


п$аотат в Бангкоке, сравниваются с 50 тысячами изображений из Токио по двум 
признакам, извлеченным с помощью компьютерного анализа: средней насыщенности 
цвета и среднему тону. 

1. Пример визуализации коллекции изображений с использованием их признаков, 
извлеченных автоматически. Случайные выборки из 50 тысяч ш${аогат-изображений из 
Бангкока (сверху) и из Токио (снизу) упорядочены по среднему тону (угол) и средней 
яркости (расстояние от центра). Проект РВоюга1$ 
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На рис. 2 показаны примеры метаданных и признаков, использованных в одном из 
проектов моей лаборатории. Мы собрали коллекцию, состоящую из 3 200 селфи из 
п$(аотат, и создали интерактивный веб-интерфейс для просмотра коллекции. Примеры 
метаданных одинаковы для всех городов, в которых пользователи делились 
фотографиями. Признаки включают предполагаемые возраст и пол, а также результаты 
компьютерного анализа (эмоции, положение и ориентация лица, присутствие улыбки и ее 
«широта» ит. д.). 

2. Пример веб-интерфейса для интерактивного изучения коллекций изображений из 
нашего проекта ЗеШеску. Посетитель может фильтровать коллекцию из 3 200 селфи из 
шп$(аотат, используя графики в верхней части экрана. В левом столбце находятся графики 
и кнопки для фильтрации изображений по городам, возрасту и гендеру. Данные о 
возрасте и гендере были получены с помощью сервиса Ататоп МесВатса| ТигК. В других 
столбцах расположены графики, которые показывают признаки, извлеченные с помощью 
программного обеспечения КеКогпйоп, анализирующего изображения лиц. Они 
включают в себя ориентацию лица (вверх/вниз, влево/вправо и степень наклона), наличие 
улыбки и очков, открытые/закрытые глаза и рот, а также семь эмоций (включено только 
три графика эмоций) 





В контексте цифровой истории искусств я предлагаю использовать термин признак 
как для информации, которая может быть извлечена с помощью компьютерного анализа, 
так и для уже доступных метаданных. В естественных и социальных науках более 
распространен термин переменная, и используется он в контексте экспериментов. Но 


поскольку мы имеем дело с гуманитарными науками, в которых систематические 
эксперименты не проводятся, нам больше подходит термин признак. Он лишь 
подразумевает, что мы представляем объекты в соответствии с их разнообразными 
характеристиками, но не предполагает использование конкретных методов анализа. 
(Однако ниже, в главе «Классические статистические методы и статистические 
диаграммы», я буду использовать понятие переменная, поскольку оно было в ходу в 
описываемый период времени.) 

Несмотря на то, что логично было бы представлять три приведенных выше вопроса 
как три стадии процесса создания представления данных: установление границ 
рассматриваемой области, выбор объектов и выбор их характеристик, — следовать этому 
линейному порядку необязательно. В любой момент исследования мы можем добавлять 
новые объекты, типы объектов и характеристики. Или можем обнаружить, что 
придерживаться выбранных характеристик непродуктивно, и тогда мы будем вынуждены 
отказаться от первоначального плана и пытаться работать с другими. Короче говоря, 
процессы создания представления и использования компьютерных методов для работы с 
ним могут происходить параллельно и продвигать друг друга. 

В зависимости от нашей точки зрения мы можем предположить, что феномен 
(например, «современное общество») объективно существует независимо от того, как мы 
его изучаем (Т. е. от того, что мы используем в качестве объектов и их свойств). Или же 
можем представить, что феномен равен множеству объектов и их свойств, используемых 
в различных количественных и качественных исследованиях, публикациях и 
обсуждениях (книгах, статьях, медийном освещении, научных работах и т. д.). Иначе 
говоря, феномен определяется репрезентациями и обсуждением. Мое описание трех 
вышеуказанных вопросов подразумевает первый вариант, но это лишь для удобства 
объяснения этапов движения «от мира к данным». 


Объекты + признаки = данные 


Объекты и их признаки вместе составляют данные (или набор данных). 

Специалисты в области цифровых гуманитарных наук любят напоминать о том, что 
данные — это нечто «сконструированное», что они не существуют сами по себе. Но что в 
действительности это означает? Любые связанные с данными проекты, публикации или 
визуализации включают одни аспекты явлений и исключают другие, так что всегда имеет 
место «пристрастность». Но в большинстве случаев это можно исправить. Допустим, в 
случае опроса на тему использования социальных медиа, который охватывает только 
жителей США и содержит определенные вопросы о практиках их использования 
(например, опросы Ре\ Кезеагсв Сещег), можно также опрашивать людей из других стран 
или задавать дополнительные вопросы. Однако понятие данных, помимо этого, включает 
и более фундаментальные предпосылки, которые нельзя изменить, и это не менее важно. 
До того как мы сможем использовать для анализа каких-либо явлений или процессов 
компьютер, они должны быть представлены в виде конечного набора отдельно взятых 
объектов, а также конечного набора их признаков. Возьмем для примера музыку. При 
вычислительном анализе музыки трек обычно разделяется на очень короткие фрагменты, 
например длиной 100 миллисекунд, и измеряются некоторые параметры каждого сэмпла. 
Так аналоговые медиа превращаются в дискретные данные. 

Каким образом сегодняшнее представление данных, касающихся какого-либо 
явления, отличается от культурных репрезентаций, использовавшихся ранее, будь то 
фигуративная живопись, литературные нарративы, исторические свидетельства или 
нарисованные вручную карты? Во-первых, представление данных является модульным, 
т. е. состоит из отдельных элементов: объектов и их признаков. Во-вторых, признаки 
закодированы таким образом, что мы можем совершать с ними вычислительные 
операции. Это означает, что признаки могут принимать несколько различных форм: 
целые числа, числа с плавающей точкой, категории, представленные как целые числа или 
текстовые метки, и т. д., — но не любые формы. И для каждого признака может быть 
использован только один формат. 

Но наиболее важное и интересное отличие, на мой взгляд, заключается в том, что 
представление данных содержит два типа «сущностей», четко разделенных между собой: 
объекты и их признаки. То, что выбирается в качестве объектов, какие признаки 
отбираются и то, как эти признаки кодируются, — три этих момента, одинаково важны 
для представления явлений в виде данных и, следовательно, для того, чтобы с помощью 
методов науки о данных сделать их вычисляемыми, управляемыми и познаваемыми. 

На практике объекты и признаки могут быть структурированы различным образом, но 
наиболее распространенной формой является знакомая всем таблица. Примером может 
служить электронная таблица Ехсе]|, содержащая один лист данных. Таблица также может 
храниться как стандартный текстовый файл, если мы разделяем ячейки знаками: 
табуляцией или запятыми (они сохраняются как (х(- или сзу-файлы соответственно). 
Реляционная база данных — это несколько таблиц, связанных вместе общими 
элементами. 

Таблица содержит строки и столбцы. Чаще всего каждая строка отводится для 
представления одного объекта, а в столбцах указываются признаки объектов. Это 
наиболее часто встречающийся сегодня способ представления данных, использующийся 
во всех профессиональных сферах, всех естественных и социальных науках и во всех 
государственных учреждениях. Это способ, с помощью которого общество данных 
осмысливает феномены и индивидов и оказывает на них влияние. 


Классические статистические методы и современная наука о данных: от 
одной переменной к множеству 


Классические статистические методы и статистические диаграммы: 
операции с одной или двумя переменными 


Развитие статистики, название которой происходит от слова (аще (англ. государство), в 
ХУШ-ХХ веках неотделимо от формирования модерных бюрократических обществ- 
паноптиконов, озабоченных учетом, всеведением и контролем над человеческими 
субъектами и экономическими ресурсами. Только в середине Х[Х века значение слова 
статистика меняется. Оно становится названием независимой дисциплины, 
занимающейся производством сводок и объяснением любых цифр, а не только тех, 
которые важны для государства и промышленности. 

Для нашей цели — осмысления ключевых принципов современной науки о данных и 
их отличий от классических статистических методов — мы можем разделить историю 
статистики на три этапа. Первый охватывает ХУ Ш век и первую половину ХХ века. На 
его протяжении статистика представляла собой сбор и сведение в таблицы разнообразных 
социальных и экономических данных. На этом этапе Уильям Плейфер и его коллеги 
разработали несколько графических методов для визуального представления собранных 
данных. Плейферу принадлежит заслуга изобретения четырех базовых методов: 
столочатой диаграммы и линейного графика (1786), круговой диаграммы и кругового 
графика (1801). Названия книг, в которых Плейфер впервые их использовал, 
иллюстрируют типы собранных данных, вдохновивших его на изобретение этих методов: 
«Коммерческий и политический атлас. Представление динамики продаж, доходов, 
расходов и долгов Англии на протяжении всего ХУ Ш века с помощью цветных 
гравированных на меди графиков» [4], «Статистический конспект. Демонстрация 
ресурсов каждого государства и королевства Европы с помощью абсолютно новых 
принципов» [5]. 

Несмотря на появление других методов визуализации данных в последующие 
периоды, графические методы, изобретенные Плейфером, по сей день остаются наиболее 
популярными. Стоит отметить, что все они визуализируют лишь одну характеристику 
исследуемых объектов. Будучи встроенными во все программы и интернет-сервисы для 
статистического анализа данных и построения графиков, они и сегодня продолжают 
определять то, как люди представляют себе данные и используют их, хотя компьютеры 
уже способны на гораздо большее. 

(Примечание. При создании диаграммы в программе вроде Ехсе] часто выделяется 
дополнительный столбец, содержащий подписи. Таким образом, даже несмотря на то, что 
данные методы показывают паттерны только по одной характеристике [т. е. числам, 
собранным в одном столбце], для того чтобы добавить подписи для строк, используется и 
второй столбец. Он, однако, переменной не считается.) 

В Х/Х веке также стали популярны тематические карты. Примером этого типа может 
служить карта страны, где яркость каждого участка отражает какие-либо статистические 
данные: уровень грамотности, преступности и т. д. [6] Хотя подобные карты и являются 
двумерными графическими представлениями, в них все еще используется только одна 
переменная (т. е. для выбора яркости или графического стиля каждого участка 
используется количественный показатель). 

На втором этапе истории статистики (1830—1890-е) разрабатываются аналитические и 
графические методы для изучения связей между двумя характеристиками объектов (т. е. 
двумя переменными). В 1880-х годах Фрэнсис Гальтон вводит понятия корреляции и 
регрессии. Гальтон, вероятно, был также и первым, кто использовал инструмент, который 
мы сейчас называем диаграммой рассеяния. Сегодня диаграмма рассеяния остается 
наиболее популярным методом графического представления одновременно двух 
переменных [1]. 

Один из самых известных способов применения статистики в ХХ веке иллюстрирует 
представления общества этой эпохи о данных. В 1830-х годах бельгиец Адольф Кетле 


измерил рост и вес большого числа детей и взрослых разного возраста и опубликовал 
свои результаты в ставшей знаменитой книге «О человеке и развитии его способностей» 
[3]. Кетле заключил, что выбранные им характеристики, будучи измерены у большого 
числа людей, могут быть представлены колоколообразной кривой (сейчас это называют 
распределением Гаусса, или нормальным распределением). Вместе с ростом и весом в 
качестве отдельных переменных Кетле также проанализировал и их отношения, создав, 
таким образом, в 1832 году современный индекс массы тела. Он обнаружил, что в 
среднем «увеличение массы тела соответствует увеличению роста, возведенного в 
квадрат» [9 |. 

Еще более каноничные примеры можно найти в книге «Самоубийство» Эмиля 
Дюркгейма, считающейся основополагающим для социологии текстом [10]. Она 
содержит десятки таблиц с данными. Дюркгейм использовал сводную статистику для 
сравнения уровня самоубийств в различных группах населения (среди протестантов и 
католиков, одиноких и находящихся в браке, военных и гражданских лиц ит. д.), после 
чего предложил теоретическое обоснование полученных результатов. (Заметьте, что в 
книге не приведено ни одной статистической диаграммы и ни одной статистической 
проверки достоверности этих результатов.) 

На третьем этапе (1900-1930-е) статистические понятия и методы для анализа одной 
или двух переменных были еще более точно очерчены, расширены, систематизированы и 
получили строгое математическое обоснование. Этот процесс включал в себя обобщение 
собранных данных (меры центральной тенденции, такие как среднее значение и медиана, 
и меры разброса данных: дисперсию и среднеквадратическое отклонение), анализ 
отношений между двумя переменными (корреляцию и регрессию), проведение 
статистических проверок и планирование экспериментов, позволяющих собирать данные 
для статистического анализа. Основная работа в этот период была проведена 
англичанами Карлом Пирсоном, Чарльзом Спирменом и Рональдом Фишером, а также 
американцем Чарльзом Пирсом [11]. 

Содержание современных вводных пособий по статистике для студентов колледжей 
во многом повторяет содержание книги Фишера «Статистические методы для 
исследователей», опубликованной в 1925 году. Мы можем задаться вопросом, почему 
сегодня для анализа больших данных мы продолжаем использовать понятия и 
инструменты, разработанные до изобретения компьютеров. Практическая применимость 
вычислений вручную была важным фактором для тех, кто создавал статистику в начале 
ХХ века. Этот фактор сыграл ключевую роль в оформлении дисциплины и, 
соответственно, до сих пор формирует «воображаемое» нашего общества данных. 


Современная наука о данных: анализируя множество признаков 
одновременно 


В ХХ веке статистика постепенно развивала методы для одновременного анализа 
множества переменных — многомерного анализа. После Второй мировой войны этому 
развитию способствовало использование для анализа данных цифровых компьютеров. По 
мере того как росла скорость компьютеров, более эффективным становился 
одновременный анализ все большего количества признаков. Уже к началу ХХ] века 
представление явлений, обладающих сотнями или тысячами признаков, начинает казаться 
обычным делом. Допущение о том, что объекты описываются большим числом 
признаков, является для науки о данных стандартным, и в этом одно из ее отличий от 
классических статистических методов. 

В то время как базовые курсы по статистике по-прежнему сосредоточены на методах 
анализа одной или двух переменных, наука о данных всегда работает с множеством 
признаков. Почему? В социальных науках целью является объяснение, а идеальным 
методом — систематические эксперименты. Цель экспериментов — изучение того, как 


некие условия могут влиять на некоторые характеристики явления или действия. 
Например, как биографические данные человека (место рождения, этническая 
принадлежность, образование и т. д.) влияют на занимаемую ей/им должность и ее/его 
заработную плату? Как подготовка спортсменки и ее диета влияют на выступление в 
соревнованиях’? Если мы имеем дело с множеством факторов и эффектов, понять, что на 
что влияет, не так просто. Поэтому в идеальном эксперименте ХХ века исследователи 
предпочитали оценивать лишь одно условие и один эффект. Все остальные факторы в 
идеальной ситуации должны были оставаться неизменными. В эксперименте одно 
условие (независимая переменная) систематически изменяется, а значения единственной 
характеристики (зависимой переменной), которая, как считается, находится под влиянием 
данного условия, регистрируются. После эксперимента для изучения возможного 
отношения между двумя переменными используются статистические методы (построение 
графиков, корреляция, регрессия и др.). 

В современной науке о данных главной целью является автоматизация. Наука о 
данных (так же, как ранее область искусственного интеллекта) нацелена на 
автоматизацию принятия решений, прогнозирования и производства знаний. Должен ли 
банк выдавать кредит клиенту на основе доступной информации о нем? Есть ли на 
фотографии лицо? Совпадает ли это лицо с тем, которое имеется в базе данных? Какие 
веб-страницы наиболее релевантны по отношению к фразе, введенной пользователем в 
поисковой системе? В принципе, наиболее точные ответы на каждый из этих вопросов 
могли бы дать человек или команда, если бы они потратили достаточное количество 
времени на изучение всей релевантной информации. Но это потребовало бы многих часов 
работы для получения ответа на один-единственный вопрос. А учитывая объем 
доступной информации (например, в сети содержится примерно 14—15 миллиардов веб- 
страниц), это длилось бы бесконечно. Кроме того, в данных может быть столько 
различных условий (переменных), что людям не хватило бы и бесконечности для полного 
понимания их эффектов. 

Поэтому в системах оценки кредитоспособности, распознавания лиц, поисковых 
системах и бесчисленном количестве других технологических систем нашего общества 
используются алгоритмы и технологии науки о данных для автоматизации подобных 
задач. Таким образом, цель науки о данных — автоматизация когнитивных функций 
человека, стремление сделать так, чтобы компьютер выполнял те же когнитивные задачи, 
но гораздо быстрее. 

Достижение этой цели является непростым по причине того, что в компьютерных 
науках называется семантическим разрывом. Это разрыв между знанием, которое может 
извлечь из каких-либо данных человек, и тем, как те же самые данные видит компьютер. 
Например, взглянув на фотографию человека, мы сразу же сможем определить, что на 
ней изображена человеческая фигура, отделить фигуру от фона, понять, во что одет этот 
человек, выражение его лица и т. д. Но для компьютера фотография — это лишь матрица 
цветных пикселей, каждый из которых определяется тремя числами (содержанием 
красного, зеленого и синего, из сочетания которых складывается его цвет). Компьютеру 
приходится использовать эту информацию «низкого уровня», чтобы попытаться угадать, 
что и как представлено в изображении. Понимание смысла текста — еще один пример 
семантического разрыва. При чтении человек понимает, о чем говорится в тексте, в то 
время как компьютер может «видеть» лишь набор букв, разделенных пробелами. 

Попытка «преодолеть семантический разрыв» (это стандартная фраза для публикаций 
по компьютерным наукам) является одним из мотивирующих моментов в использовании 
множества признаков. Например, в случае анализа изображений компьютерный алгоритм 
может извлечь из изображений большое количество разнообразных признаков в 
дополнение к простому ряду значений КОВ пикселей. Компьютер может распознать 
участки с одинаковым значением цвета и определить направленность линий и свойства 


текстуры в разных частях изображения. Далее мы надеемся на то, что вместе все эти 
признаки будут содержать достаточное количество информации, для того чтобы алгоритм 
определил, что представлено на изображении. 

Итак, в статистическом анализе ХХ века и в современной науке о данных переменные 
используются прямо противоположным образом. В статистике и количественных 
социальных науках по возможности стремятся изолировать одну независимую и одну 
зависимую переменную с целью осмыслить явление. Наука о данных предполагает 
использование множества признаков в надежде на то, что вместе они содержат 
необходимую информацию для автоматического распознавания, классификации или 
другой когнитивной задачи. 


Пространство признаков 


Перед тем, как двигаться дальше, кратко подытожим то, что нам стало известно на 
данный момент о представлении явлении в виде данных. Мы представляем явление в 
качестве набора объектов (также называемых точками данных, измерениями, выборками 
или записями), у которых есть признаки (или атрибуты, характеристики, переменные, 
метаданные). Вместе объекты и их признаки являются тем, что мы называем данными 
(или набором данных). Признаки могут быть представлены различными способами: 
целыми и дробными числами, категориями, пространственными координатами, формами, 
траекториями, датами, временем и т. д. 

Это базовые условия/конвенции современного анализа данных, а также их 
визуализации. Теперь начнем наш следующий «урок». К приведенным выше понятиям 
(объекты и признаки) мы добавим третье ключевое понятие: пространство признаков. 

Мы предполагаем, что наши данные хранятся в таблице. Но теперь мы представим 
нашу таблицу данных как геометрическое пространство с множеством измерений. 
Каждый признак становится одним из измерений. Каждый объект — точкой в этом 
пространстве. Это и есть пространство признаков, и именно оно, по моему мнению, 
является важнейшим и наиболее релевантным для наших гуманитарных исследований 
понятием современной науки о данных. 

Самый простой способ понять это — представить знакомую двумерную диаграмму 
рассеяния. Она представляет данные в двух измерениях. Первое измерение (Х) 
соответствует одному признаку (Т. е. одному столбцу в таблице данных), второе 
измерение (У) — второму признаку (другому столбцу в этой таблице). (На рис. 3 
используется пространство двух признаков для сравнения работ Винсента Ван Гога, 
созданных в Париже ив Арле.) 

3. Сравнение картин Ван Гога, созданных в Париже (сверху) ив Арле (снизу), по 
яркости и насыщенности. По оси Х — средняя яркость, по оси У — средняя 
насыщенность. Визуализация показывает, что по этим критериям парижские картины Ван 
Гога более вариативны, чем его арльские произведения. Мы также можем увидеть, что 
большинство картин, созданных в Арле, занимают ту же часть пространства 
яркости/насыщенности, что и парижские, и лишь несколько арльских работ оказывается в 
другой его части (верхний правый угол) 








Если мы хотим также добавить третий признак, и наше программное обеспечение 
позволяет это сделать, мы можем создать трехмерную диаграмму рассеяния. Если же у 
нас есть десять признаков, то наша диаграмма концептуально существует в десятимерном 
пространстве. И так далее. Однако несмотря на то, что в математике и компьютерных 
науках можно свободно работать с пространствами, имеющими произвольное число 
измерений, мы, люди, не можем напрямую увидеть или изобразить их, поскольку 
физически мы существуем и обладаем способностью видеть лишь в трех измерениях. И 
тем не менее для размышления об объектах в многомерных пространствах и изучения их 
отношений мы можем использовать вычислительные методы. 


Использование пространства признаков в науке о данных 


Стоит только представить какое-либо явление или процесс в виде набора объектов, 
определяемых множеством признаков, и перенести это представление на многомерное 
пространство, как сразу становятся возможными многочисленные аналитические 
операции. Многие основные области применения науки о данных эксплицитно или 
имплицитно соответствуют этим столь различным операциям. 


Например, мы можем использовать ряд методов, называемый разведочным анализом 
данных, для того чтобы «посмотреть» на структуру пространства и визуализировать ее. 
Для осуществления кластерного анализа мы делим пространство на части, каждая из 
которых содержит точки, более сходные между собой, чем с точками из других частей. В 
рамках классификации мы определяем принадлежность точек к каждой из двух или более 
категорий. (Бинарная классификация имеет дело с двумя категориями, многоклассовая — 
с большим их числом. Между кластерным анализом и классификацией есть много 
общего, но если первый метод является полностью автоматизированным, для второго 
требуется наличие некоторых данных с уже наличествующей информацией о категориях.) 
Во многих поисковых алгоритмах компьютер находит в пространстве точки, наиболее 
соответствующие вводимым выражениям (это точки, наиболее близкие к ним в 
пространстве признаков). Некоторые рекомендательные алгоритмы работают схожим 
образом: отталкиваясь от точек, которым пользователь отдавал предпочтение ранее, они 
позволяют искать и выдавать другие точки, наиболее близкие к ним (разумеется, они 
показывают не сами точки, а медиаобъекты, репрезентируемые ими: фильмы, песни или 
возможных друзей в социальных сетях). 

Эти операции строятся на более простых, вроде вычисления меры сходства/различия 
между точками в пространстве признаков. Степень сходства/различия может быть 
сведена к простому геометрическому расстоянию между точками в пространстве. 

Я хотел бы упомянуть еще несколько терминов, поскольку они так часто 
используются в науке о данных, что вы неизбежно с ними столкнетесь. Разведочный 
анализ данных также называют обучением без учителя. В противоположность ему, для 
обучения с учителем требуется, чтобы часть данных уже была отнесена к той или иной 
категории. Затем алгоритмы используют эти помеченные данные вместе с их признаками 
для «обучения» тому, как классифицировать новые данные. Практическое применение 
обучения без учителя является частью сферы прогностической аналитики. 

Среди современных способов применения науки о данных наиболее 
распространенным, вероятно, является автоматическая классификация. Однако, на мой 
взгляд, она наименее интересна для гуманитарных наук. Зачем нам использовать 
компьютеры для классификации культурных артефактов, явлений или практик по 
небольшому числу категорий? Почему бы вместо этого не использовать вычислительные 
методы для проблематизации уже имеющихся категорий, не формировать новые 
категории или не создавать новые культурные карты, которые соотносили бы культурные 
артефакты новыми способами? 

Вот почему в данной статье я не углубляюсь в детали широко используемых методов 
науки о данных — методов классификации, — которые подробно рассмотрены в 
стандартных пособиях и учебных курсах. Глядя на то, что в этих пособиях крайне мало 
внимания уделяется разведочному анализу данных, я считаю, что гуманитарные науки 
должны кардинально изменить эту ситуацию. Исходя из этого, оставшуюся часть статьи я 
посвящу именно разведочным методам. 


Различие как расстояние в пространстве признаков 


Мы узнали, что можно представить набор объектов с множеством признаков в качестве 
точек в многомерном пространстве. Какие преимущества для гуманитарных наук могут 
быть у такого способа репрезентации? 

Самым базовым методом в гуманитарных науках до сих пор остается то же, что 
свойственно повседневному человеческому восприятию и мышлению — сравнение. (Это, 
однако, не относится к естественным и социальным наукам, которые для изучения своих 
явлений и объектов используют математику, статистику, визуализацию данных, 
вычисления и симуляцию.) В ХХ веке на занятии по истории искусств с помощью 
проектора, одновременно показывающего два слайда, можно было одновременно 


рассматривать два артефакта и сравнивать их. Сегодня в художественном музее 
экспликация одного артефакта указывает на его сходства с несколькими другими 
артефактами (или на сходство одного художника с другим) на той же выставке. 

Ручное сравнение не подходит для больших данных. Например, для проекта нашей 
лаборатории «На Бродвее», в котором визуализируется одна нью-йоркская улица с 
использованием множества источников данных, мы собрали все общедоступные 
[п5{аогат-изображения Нью-Йорка за пять месяцев 2014 года. В результате у нас было 
10,5 миллиона изображений. Допустим, нам нужно выявить какие-либо паттерны в этой 
выборке современной любительской фотографии: определить темы изображений; какие 
композиции распространены, а какие редки; как это может различаться в зависимости от 
района Нью-Йорка: сколько фотографий сделано с использованием методов 
профессиональной коммерческой съемки и т. д. Мы не сможем ответить на эти вопросы, 
попросту рассматривая все собранные нами изображения. И более того, ни одно 
популярное приложение, ни один веб-сервис для управления и обмена изображениями 
(ни коммерческий, ни бесплатный) не может даже просто показать все эти изображения 
на одном экране. 

Методы науки о данных, в свою очередь, позволяют нам ответить на подобные 
вопросы в отношении огромного массива данных. Представив каждое изображение в виде 
точки в пространстве множества признаков, мы можем приступить к их количественному 
сравнению. В таком представлении визуальные различия между изображениями 
приравнены к расстоянию в пространстве признаков. Это позволяет использовать 
компьютер для вычисления различий между тем количеством изображений (или других 
типов культурных объектов), которое нам необходимо. Затем это вычисление становится 
основой для выполнения других операций, более «высокого уровня»: нахождения 
кластеров схожих изображений, определения наиболее популярных и наиболее редких 
типов изображений, определения фотографий, использующих язык профессиональной 
съемки, и т. д. [12] 

Для того чтобы разобраться в процессе измерения расстояния в многомерном 
пространстве признаков, для начала лучше ограничиться двумя характеристиками. 
Рассмотрим визуализацию на рис. 3, в которой картины Ван Гога распределены в 
зависимости от средней яркости (ось Х) и средней насыщенности цвета (ось У). 
Геометрическое расстояние между любыми двумя изображениями соответствует 
различию в яркости и насыщенности. Отметим, конечно, что этот пример не учитывает 
все другие типы различий: содержание, композицию, цветовую палитру, характер мазков 
и т. д. Однако это не только ограничение, но также и преимущество: рассматривая 
определенные характеристики изолированно, мы можем сравнивать артефакты только по 
тем аспектам, которые нам интересны. 

Мы также можем посчитать и добавить столько признаков, сколько захотим. И 
несмотря на то, что мы не в состоянии визуализировать и непосредственно увидеть 
пространство 50 или 500 признаков, нам по силам вычислить расстояние между точками в 
этом пространстве. Если расстояние между двумя точками невелико, это означает, что 
соответствующие им объекты похожи друг на друга, и наоборот. 

Существует множество способов определения и вычисления расстояния, и некоторые 
из них используются в науке о данных. Один из самых популярных и легких для 
понимания способов — использование Евклидовой геометрии. (Другой популярный 
способ — косинусная мера сходства, определяемая как косинус угла между двумя 
векторами в пространстве признаков.) Отметим, что в этих вычислениях нам не 
обязательно считать все признаки одинаково значимыми. Если нам кажется, что 
некоторые из них более важны, мы можем отдать им приоритет и в наших расчетах. 

Понятие геометрического пространства признаков позволяет нам взять самый 
базовый метод гуманитарных наук — сравнение — и распространить его на большие 


культурные данные. В то же время это дает нам возможность (или, если хотите, 
вынуждает) определять понятие различия количественно. Вместо того чтобы просто 
сказать, что артефакт А похож на артефакт Б, а А и Б оба отличаются от В, мы теперь 
можем получить числовое выражение этих отношений. Если это количественное 
описание кажется излишним, когда мы имеем дело с небольшим числом артефактов, то 
как только мы начинаем работать с тысячами, десятками тысяч, миллионами и более, этот 
способ оказывается весьма подходящим для их сравнения. 


Исследуя пространство признаков 


Допустим, что мы хотим составить представление о некоторых культурных областях 
определенного периода: китайской живописи династии Мин, европейской 
реалистической живописи конца ХХ века, графическом дизайне 1990-х, фотографии в 
социальных медиа начала 2010-х годов и т. д. Какие темы (если в этих областях они есть), 
стили и техники имеют место’? Как они со временем развиваются? Какие из них были 
более популярны, а какие менее? Историки искусства до сих пор полагались на 
развившуюся в результате эволюции способность человеческого мозга видеть паттерны и 
понимать сходства и различия между сериями артефактов. Казалось, что они успешно 
справляются и без математики, графических методов, статистики, вычислений и 
современной науки о данных. Но ценой такого «успеха» был самый радикальный отсев: 
во внимание принималось лишь ничтожное число «важных» или «лучших» работ из 
каждого периода или области. Пионер цифровых гуманитарных наук Франко Моретти 
выразил это так: «В чем состоит изучение мировой литературы’? Как к нему приступить? 
Я занимаюсь западноевропейской прозой 1790—1930-х гг. и чувствую себя шарлатаном, 
когда покидаю пределы Британии или Франции. <...> „Я занимаюсь западноевропейской 
прозой...“ Это не совсем так, потому что я занимаюсь лишь канонизованной ее частью, 
которая составляет меньше одного процента всей изданной литературы. Опять же, многие 
читали больше, но дело в том, что у нас есть 30 тысяч британских романов ХХ в., или 40, 
20, 60 тысяч — никто не знает точно, никто их не читал и никогда не будет читать. А ведь 
есть еще и французские романы, а также китайские, аргентинские, американские...» [13]. 

Мысль Моретти определенно можно применить и ко всем остальным областям 
гуманитарных наук, в особенности к анализу современной культуры. Кто может 
просмотреть даже самый малый процент фотографий, которые выкладываются в 
шп$аогат каждый час, или, например, сотни миллионов снимков с хэштегом Яа$61оп'? Кто 
смог бы посетить сотни городов мира в течение месяца, чтобы увидеть различия в 
уличной моде? Кто может просмотреть миллиард веб-страниц, чтобы представить 
пространство современного веб-дизайна? 

Теперь давайте применим к этой проблематике приведенные понятия: объекты, 
признаки, пространство признаков, расстояние в пространстве признаков и различные 
операции, которые это представление позволяет производить (разведочный анализ, 
кластеризация ит. д.). Сначала нам необходимо создать подходящий набор данных. Как 
мы уже знаем, это означает представить определенную культурную область в виде 
большого набора объектов с разнообразными признаками. В признаки могут входить 
существующие метаданные (такие, как даты или имена), которые были автоматически 
извлечены компьютером или добавлены вручную (в социальных науках этот процесс 
называют ручным кодированием, в гуманитарных науках — аннотированием или 
тегированием). 

Объектами могут быть фотографии, песни, романы, картины, веб-сайты, 
пользовательский контент в соцсетях или любой другой большой набор культурных 
артефактов, выбранных по определенным критериям. Это могут быть все работы одного 
автора, если мы хотим понять, как ее/его работы соотносятся друг с другом. Вместо 
культурных артефактов объектами нашего представления могут стать и отдельные 


потребители культуры, а признаки могут представлять некоторые характеристики их 
культурных активностей, например: посещенные веб-сайты, траектории движения по 
музею и время, потраченное на просмотр отдельных произведений, или положение лиц на 
селфи. 

Как только мы представляем какую-либо область культуры или сферу культурной 
активности в виде данных (объектов и их признаков), мы можем представить каждый 
объект в качестве точки в многомерном пространстве признаков. Это позволяет 
использовать методы разведочного анализа данных, а также методы визуализации, чтобы 
увидеть «форму» этого пространства признаков. 

Это пространство может иметь различную структуру: все точки могут 
кластеризироваться вместе, образовывать несколько кластеров, располагаться на 
приблизительно одинаковом расстоянии друг от друга и т. д. Любой из этих паттернов 
будет иметь соответствующую культурную интерпретацию. Если большинство точек 
образует единый кластер, значит в определенной области культуры большинство 
работ/активностей обладают сходными характеристиками, и лишь небольшое число 
заметно выделяется. Или мы можем обнаружить несколько больших кластеров, 
расположенных на достаточном расстоянии друг от друга (оно может быть рассчитано 
как расстояние между их центрами). Если же мы вовсе не обнаружим кластеров, это 
будет означать, что выбранное культурное пространство обладает высокой степенью 
вариативности, и каждая работа существенно отличается от всех остальных [14]. 

Заметьте, что, как и в примере с Ван Гогом, даже используя множество различных 
признаков, мы не можем быть уверены, что ухватили правильную информацию, для того 
чтобы определить различие так же, как видит его обычный человеческий взгляд. Но 
производство одной-единственной «правильной» карты не должно быть нашей основной 
целью. Каждый отбор признаков и выбор параметров алгоритма будет создавать свой 
вариант карты интересующих нас культурных артефактов. А каждая новая карта 
продемонстрирует нам нечто новое. 

Используя современный софт для анализа и визуализации данных, мы можем быстро 
сгенерировать множество различных представлений одних и тех же данных и сравнить 
их. Это помогает нам расширить собственное понимание культурных феноменов, а также 
обнаружить отношения и закономерности, которые мы не видели раньше. Словом, наука 
о данных позволяет нам не только увидеть данные, слишком большие для нашего 
непосредственного восприятия и познания, но и взглянуть на любые объемы данных 
(включая массивы хорошо знакомых нам канонических культурных данных) иначе. 


Снижение размерности 


Мы хотим исследовать структуру пространства признаков: наличие, расположение и 
форму кластеров, расстояние между ними и среднее расстояние между отдельными 
точками. Как это сделать? Было бы прекрасно, если бы мы могли визуализировать это 
пространство. Если у нас есть всего два признака, мы можем напрямую сопоставить 
каждый из них с одним из измерений и создать привычную двумерную диаграмму 
рассеяния. Если признаков много, пространство с множеством измерений может быть 
представлено как серия отдельных диаграмм рассеяния, каждая из которых показывала 
бы пару признаков. Этот метод визуализации называется матрицей диаграмм рассеяния. 

Эти матрицы становятся менее эффективными, если мы имеем дело с большим 
числом измерений. Каждая диаграмма показывает лишь определенную проекцию на 
двумерное пространство, т. е. одну плоскость. Поскольку формы кластеров точек по- 
настоящему многомерны, изучение большого числа отдельных двумерных диаграмм не 
сможет помочь нам увидеть эти формы. 

Другой метод визуализации точек в пространстве с множеством измерений — 
использование матрицы расстояний. Она вычисляется напрямую из таблицы данных, и 


каждая клетка в ней представляет численное расстояние между двумя объектами из 
таблицы. Переводя значения клеток в оттенки серого, цвета или формы, мы можем 
перевести матрицу расстояний в визуализацию. Такая визуализация называется тепловой 
картой. Как и матрицы диаграмм рассеяния, тепловые карты могут быстро становиться 
очень плотными при добавлении признаков, и у них есть то же ограничение, не 
позволяющее увидеть формы многомерных кластеров. Рис. 4 — пример визуализации на 
основе данного метода, используемой для изучения пользовательских тегов 

к изображениям в ш$асгат. 

4. Визуализация наиболее популярных пользовательских тегов к ш$%аогат- 
изображениям, загруженным в центре Киева в феврале 2014 года в период революции на 
Майдане. Используя ш$аогат АРТ, мы собрали изображения с 17 по 22 февраля. В 
течение этого времени 6 165 пользователей ш%аогат поделились 13 208 изображениями с 
геотегами, к которым были добавлены 21 465 тегов (в том числе 5 845 уникальных). 
Визуализация показывает 25 наиболее часто используемых тегов. Интенсивность цвета и 
размер указывают, насколько часто два тега использовались вместе 
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Наука о данных разработала также и другой подход для просмотра и интерпретации 
структуры многомерного пространства — снижение размерности. Наряду с объектами, 
признаками, пространством признаков и расстоянием в нем, снижение размерности 
представляет собой еще одно фундаментальное понятие науки о данных, являющееся 
значимым и для гуманитарных наук. 

Сегодня это наиболее распространенный подход к изучению данных, которые 
обладают произвольно большим числом признаков. Он реализуется через различные 
алгоритмы, преобразующие многомерное пространство в пространство с небольшим 
числом измерений. Если это новое представление обладает только двумя или тремя 
измерениями, мы можем визуализировать его с помощью одной или двух стандартных 
двумерных диаграмм рассеяния. 


Заметьте, что, как правило, каждая ось в такой диаграмме больше не соотносится 
лишь с одним признаком. Теперь она представляет комбинацию разнообразных 
признаков. Здесь алгоритмы снижения размерности бросают нам серьезный вызов: 
позволяя нам представлять данные с помощью диаграмм рассеяния, на которых легко 
можно увидеть структуру пространства, они затрудняют интерпретацию значения 
каждого измерения. Но даже если нельзя точно сказать, что именно представлено каждой 
осью, мы все же можем наблюдать форму пространства, наличие или отсутствие 
кластеров, и относительное расстояние между точками. 

Снижение размерности — это проекция многомерного пространства на пространство 
с меньшим числом измерений, так же как тень человека является проекцией трехмерного 
на двумерное. В зависимости от положения солнца некоторые тени будут более 
«информативными», чем другие. (Например, если солнце находится прямо над моей 
головой, моя тень станет очень короткой, а фигура будет представлена в крайне 
искаженном виде. Но если солнце находится под углом 30 или 45 градусов, моя тень 
будет нести больше информации.) Также и идея снижения размерности предполагает 
сохранение как можно большей исходной информации. Но важно иметь в виду, что 
некоторая информация неизбежно будет потеряна. 

В разных методах снижения размерности используются различные критерии того, 
какая информация должна быть сохранена и как этого достичь. Далее представлены три 
наиболее широко используемых метода изучения данных, в которых применяется 
снижение размерности: 

1. Многомерное шкалирование. Мы хотим сохранить относительное расстояние 
между точками в многомерном пространстве при проецировании его на пространство с 
меньшим числом измерений. 

2. Метод главных компонент. Мы хотим сохранить максимальную вариативность 
(разброс данных) при уменьшении числа измерений. 

3. Факторный анализ. Он схож с первыми двумя, но изначально задумывался для 
других целей. Идея факторного анализа состоит в том, чтобы извлекать «факторы» — 
небольшое число «скрытых» переменных, от которых зависит больший набор 
наблюдаемых (регистрируемых, измеряемых) переменных [15]. 

На рис. 5 дан пример визуализации с использованием многомерного шкалирования. 
Мы исследуем 25 наиболее популярных тегов в ш%астат для 13 208 изображений из 
Киева, сделанных в феврале 2014 года во время революции на Майдане, и находим 
отчетливые семантические кластеры. 

5. Визуализация данных, представленных на рис. 4, с использованием многомерного 
шкалирования. Теги, часто используемые вместе, расположены друг рядом с другом. 
Справа мы видим плотный кластер тегов, представляющих «универсальный» язык 
ш$аотат: #1Ке, #тоПоу/, ЯН аеоо4 и т. д. (они пользуются популярностью и во многих 
других местах по всему миру). Слева мы наблюдаем кластер тегов, связанных с 
революцией на Маидане. Визуализация подсказывает, что два типа тегов 
взаимодействуют слабо: одна группа пользователей ш$асгат использовала 
универсальные теги, в то время как другая тегировала местные и уникальные события 
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На рис. 6 показан пример визуализации порядка шести тысяч картин французских 
импрессионистов с использованием метода главных компонент. В такой визуализации 
группируются изображения, сходные по определенным визуальным признакам. Она 
позволяет нам сравнивать между собой большое число изображений и находить паттерны 
подобия и различия в больших массивах визуальных данных. 

6. Пример визуализации коллекции изображений с использованием метода главных 
компонент. Массив данных состоит примерно из шести тысяч оцифрованных картин 
французских импрессионистов. Из каждого изображения мы извлекли 200 признаков, 
описывающих их цветовые характеристики, контрастность, формы, текстуры и некоторые 
аспекты композиции. После этого мы использовали метод главных компонент, чтобы 
сократить пространство двухсот признаков до меньшего числа измерений, и 
визуализировали первые два измерения. В визуализации изображения, сходные между 
собой по извлеченным признакам, сгруппированы вместе. Одна из интересных находок 
заключается в том, что картины, обычно ассоциируемые с импрессионизмом (внизу 
слева), составляют меньшую часть корпуса работ, созданных этими художниками. 

По крайней мере половина изображений оказалась ближе к традиционным 
классицистическим картинам Х[Х века (с более темными тонами и теплыми цветами). 
Отметим, что наш массив данных включает лишь около половины всех картин и 
пастелей, созданных участниками выставок импрессионистов в 1874—1886 годах 





Заключение 


Изучать значит сравнивать. Но чтобы сравнивать, в первую очередь мы должны видеть. А 
чтобы видеть большие культурные данные, нам необходимо обращаться к науке о 
данных. 

Вплоть до ХХ века мы обычно сравнивали скромное число артефактов, а 
использование когнитивных способностей человека, не вооруженного машинами, 
считалось достаточным. Но сегодня, если мы хотим сравнивать десятки тысяч или 
миллионы культурных артефактов (цифровой контент, производимый пользователями, — 
главный пример таких масштабов, однако некоторые оцифрованные коллекции 
исторических артефактов также могут быть достаточно большими), у нас нет иного 
выбора, кроме как использовать вычислительные методы. Другими словами, чтобы 
«увидеть» современную культуру, необходимо использовать компьютеры и науку о 
данных. 

Это компьютерное «зрение» можно рассматривать как расширение самой базовой 
практики (или метода) гуманитарных наук — сравнения культурных артефактов 
(периодов, авторов, жанров, направлений, тем, техник, сюжетов ит. д.). Таким образом, 
взгляд, подкрепленный наукой о данных, будучи радикальным с точки зрения 


масштаба — сколько можно охватить «одним взглядом», — служит продолжением 
методологии, традиционной для гуманитарных наук. 

В настоящей статье я представил ряд ключевых понятий науки о данных: объекты, 
признаки, пространство признаков, измерение расстояния в пространстве признаков, 
снижение размерности. По моему мнению, это самые базовые понятия данной области, 
релевантные для гуманитарных наук. Кроме того, что они позволяют исследовать 
большие данные, они также лежат в основе других сфер науки о данных и их применения 
в индустрии. На самом деле, они являются столь же основополагающими для нашего 
«общества больших данных», как и другие важнейшие культурные методы, используемые 
нами для репрезентации мира, размышления о нем, а также друг о друге: естественные 
языки, фото- и видеосъемка, технологии хранения информации и обеспечения доступа к 
ней (бумага, печать, цифровые медиа ит. д.), расчеты или вычисления. Они составляют 
«разум» общества данных — присущие нашей эпохе способы рефлексии, действия, а 
также взаимодействия с окружающим миром и людьми. 
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Исследуя городские социальные медиа 


2015 

РБоогай$ (2013) Бир://рБоюНа1$.пе/ 

зеШесиу (2014) ВИр://зееспку пей 

Оп Вгоа\ау (2015) Вр://оп-Бгоад\иау.пус/ 

Создаваемые пользователями визуальные медиа (изображения и видео), которые они 
выкладывают в ш$аотат, УоцТибе, эта У\е1Бо, УК, ЕйсКг и других популярных сервисах 
социальных медиа, открывают невероятные возможности для изучения современной 
визуальной культуры. Анализируя медиаконтент, производимый сегодня миллионами 
пользователей, мы можем понять, о чем думают люди по всему миру и что они создают; 
как они репрезентируют себя и других; какие темы, стили и визуальные методы наиболее 
популярны, а какие — уникальны; и как эти темы и методы меняются в зависимости от 
местоположения, гендера, возраста и многих других демографических характеристик. 

В 2005 году я ввел термин культурная аналитика для определения анализа больших 
массивов и потоков культурных данных с использованием вычислительных методов и 
методов визуализации, а в 2007-м, для того чтобы перейти непосредственно к 
исследованиям, мы создали исследовательскую лабораторию эоЙ\аге За ез Пийайуе. 
Развив и протестировав наши методы и программные инструменты на множестве 
небольших наборов данных, таких как 4 535 обложек журнала Тите с 1923 по 2009 год, в 
2012-м мы начали работу с данными социальных сетей. 

С тех пор мы осуществили несколько проектов, в которых проанализировали большое 
количество изображений, выложенных пользователями ш$аогат в городах. Начав с 
общего сравнения между 2,3 миллиона изображений от сотен тысяч пользователей из 13 
глобальных городов (РВоюгацЦ$, 2013) [1], в итоге мы сосредоточились на конкретных 
типах изображений, отобранных по типу контента (селфи в ЗеШеску, 2014) [2] или 
относящихся к определенной городской территории (13 миль нью-йоркского Бродвея в 
проекте Оп Вгоад\ау, 2015) [3]. 

Принимая во внимание, что для всех пользователей приложения ш$аотат 
предусмотрены один и тот же интерфейс, одинаковые фильтры и даже одна и та же 
квадратная форма изображений, сколько возможных различий между городами мы 
можем обнаружить? Создают ли сетевые приложения и их инструменты вроде шуазтат 
новый глобальный визуальный язык, аналогичный визуальному языку модернизма 
столетней давности’? К большему или меньшему эстетическому разнообразию 
располагает простота съемки, редактирования и распространения фотографий? Приводит 
ли использование софта и сетей к повторяемости, однообразию и визуальной мимикрии 
общества, т. е. к тому, что еда, котята, селфи и другие популярные темы заслоняют все 
остальное? 


Использование крупных выборок из социальных медиа и инструментов для 
вычислений и визуализации позволяет нам изучать эти вопросы в количественном 
измерении. Наш анализ в проекте РБою{га|$ обнаружил серьезное сходство между 
городами по базовым визуальным характеристикам, таким как тональность и цвета 
изображений, а также в использовании фильтров. Но эти результаты отчасти были 
продуктом используемого нами метода. Мы не брали в расчет содержание фотографий, 
различия в композиции и другие аспекты фотографической эстетики, относительную 
популярность разных типов фотографий и многие другие возможные характеристики, в 
которых можно обнаружить различия. Фотографии рассматривались исключительно как 
скопления цветовых пикселей. 

1. 50 тысяч шаотат-изображений из Нью-Йорка (сверху) и из Токио (снизу), 
выложенные в течение нескольких дней, упорядочены по дате и времени загрузки. Обе 
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СК | Я ЕЕ 
Для того чтобы как-то компенсировать ограничения первого проекта, в 2013 году мы 
запустили новый проект эеШесику. Вместо использования произвольной выборки 
изображений из социальных медиа с произвольным содержанием мы сосредоточились на 
одном их типе — на всем известных селфи. В следующей главе я расскажу о том, как мы 
собирали массив селфи, о наших исследовательских методах, визуализации результатов и 


презентации работы на сайте, а также о некоторых наших выводах. 





1. зе Песпу 


Создание зейеску 

Команда проекта. Для работы над эеШеспу мы собрали большую 
мультидисциплинарную команду. В нее вошли медиатеоретики, историки искусства, 
специалисты в области науки о данных, визуальные дизайнеры и программисты, 
работавшие между Нью-Йорком, Германией и Калифорнией. Я выступил координатором 
проекта, а за креативную составляющую и визуализацию отвечал Мориц Стефанер. 

В онлайн-презентации проекта собраны: результаты исследования (раздел Еп@!11$$) о 
демографических данных авторов селфи, их позах и выражениях лиц; несколько 


медиавизуализаций (Ппасер]о{$), в которых представлены одновременно тысячи 
фотографий; интерактивное приложение (ЗеШехр]огаогу), позволяющее изучать всю 
коллекцию из 3 200 селфи, сортировать ее и использовать фильтры для обнаружения 
новых паттернов. Кроме того, на сайте проекта размещены три эссе: об истории 
фотографии и феномене селфи, о функциях изображений в социальных медиа и о методе 
медиавизуализации. 

Сбор данных. Первым этапом в работе над данным проектом было создание массива 
селфи, потребовавшее совершения немалого количества шагов. При просмотре ш$астат 
поначалу кажется, что большую часть изображений составляют селфи. Более 
внимательный взгляд позволяет обнаружить, что многие фотографии на самом деле 
селфи не являются, — это портреты, снятые кем-то другим. Для нашего же проекта мы 
хотели отобрать только «настоящие селфи». 

Наша команда стала партнером Ор [4] — компании, которая на тот момент была 
крупнейшим мировым поставщиком социальных данных. После разработки софта для 
доступа к сервису Оптр в сентябре 2013 года мы начали собирать ш${асгат-фотографии 
из разных географических точек. После многочисленных тестов мы сосредоточились на 
центральных частях пяти городов в Европе, Азии, Северной и Южной Америке. Размеры 
выбранных территорий во всех городах были одинаковыми. 

Мы хотели собрать изображения и данные в сходных условиях, поэтому для их сбора 
была выбрана конкретная неделя (5—11 декабря 2013 года). Ниже приведено количество 
выложенных в ш$аогат изображений в границах выбранных территорий пяти наших 
городов на протяжении указанной недели, согласно данным Отир (представлено в порядке 
убывания и округлено до тысяч): 

Нью-Йорк — 207 000; 

Бангкок — 162 000: 

Москва — 140 000: 

Сан-Паулу — 123 000: 

Берлин — 24 000; 

Всего: 656 000 фотографий. 

Следующим нашим шагом стал случайный отбор 140 тысяч фотографий (по 20-30 
тысяч из каждого города). Затем, для того чтобы отобрать из этого набора селфи, мы 
использовали сервис Ататоп МесВапса! 'ТагК. Каждой из 140 тысяч фотографий двумя- 
четырьмя работниками сервиса были присвоены теги. Мы экспериментировали с 
различными форматами вопросов, на которые должны были отвечать работники, и 
обнаружили, что самый простой — «показано ли на фото одиночное селфи?» — дает 
наилучший результат. 

После этого мы отобрали топ-1000 фотографий из каждого города (те, которые хотя 
бы два работника отметили как одиночное селфи), снова передали их Ататоп Месвапса| 
Тагк, попросив трех квалифицированных специалистов не только проверить то, что 
снимок представляет собой одиночное селфи, но и отметить гендер и угадать возраст 
человека на фотографии. 

Конечным шагом была проверка всех фотографий вручную хотя бы одним 
участником команды проекта. И хотя для большей части снимков теги были поставлены 
верно (очевидно, каждый работник Месвапса| 'ТигК знал, что такое селфи), мы нашли 
несколько ошибок. Для того чтобы результаты анализа и визуализации данных были 
сопоставимы, мы решили привести массивы данных по городам к одинаковому объему, 
поэтому финальный набор состоял из 640 селфи по каждому городу, а общее число 
фотографий составило 3 200. 

Компьютерный анализ. Эта выборка из 3 200 селфи была проанализирована с 
использованием новейшего софта для анализа лиц — КеКосшвоп. Это программное 
обеспечение анализирует лица на фотографиях более чем по 20 параметрам, включая 


размер и положение лица, эмоции, наличие очков или улыбки, открытые/закрытые глаза и 
др. 

Эти параметры мы использовали двумя способами. Во-первых, сравнивали 
измеренные характеристики лиц между городами, по гендеру и возрасту. Во-вторых, 
некоторые параметры были также включены в интерактивное приложение 
эеНехр]огаюгу, чтобы позволить посетителям сайта, составляя любые комбинации из 
выбранных характеристик, применять фильтры к базе селфи. 

С помощью софта были также определены гендер и возраст изображенных на 
фотографиях людей. Мы выяснили, что оба этих показателя в целом совпали с оценками 
работников МесБашса! Тик. 

Визуализация селфи 

Обычно визуализируются простые данные, например числа. Однако одно лишь число 
не может полностью передать все, что есть в фотографии. По словам Морица Стефанера, 
«отдельная фотография — это не „единица данных“, а целый мир, богатый в своих 
значениях, эмоциях и визуальных паттернах». Именно поэтому основная стратегия 
проекта — показать в визуализации все фотографии (с графиками или без). Мы называем 
этот подход медиавизуализацией. Как объясняет Стефанер, «важной темой для нашего 
проекта являлась демонстрация высокоуровневых паттернов — общей картины — наряду 
с отдельными изображениями. Как нам найти формы обобщения больших данных, 
которые бы тем не менее учитывали индивидуальное и не отсекали все интересные 
детали? Этот вопрос стал для нас центральным, и не только в отношении селфи». 

Стефанер создал для проекта несколько типов визуализации, описываемых ниже. 

Видеомонтаж с наложением [5]. Каждое видео представляет 640 селфи из каждого 
города, при этом все изображения показываются не в простой последовательности. 
Несколько селфи накладываются друг на друга, и новые фотографии появляются поверх 
старых. Лица выстроены в соответствии с положением глаз и упорядочены по углу 
наклона головы. 

Эта визуальная стратегия предназначена для того, чтобы создать напряжение между 
отдельными фотографиями и общими для множества изображений паттернами. Мы не 
показываем каждое лицо отдельно. Но мы также не накладываем все лица друг на друга, 
что произвело бы лишь обобщенный образ лица, одинаковый для всех городов. Мы 
показываем кое-что иное: одновременно и паттерны и детали. 

Ппасеро5. Если просматривать каждое изображение по отдельности, можно 
обнаружить множество интересных деталей, но подсчитать обнаруженные паттерны 
будет затруднительно. Мы создали визуализации по типу гистограммы, которые 
показывают распределение по гендеру, возрасту и улыбкам в разных городах. Как и 
обычные визуализации данных, они позволяют сразу увидеть паттерны, выраженные в 
формах диаграмм. Но поскольку эти диаграммы состоят из отдельных фотографий, они 
также дают возможность исследовать взаимодействие общего и частного другим 
способом. 

ъе@еШехрогафогу. Главная часть проекта. Это приложение для интерактивной 
визуализации, позволяющее посетителям сайта изучать массив селфи множеством 
способов. Посетители имеют возможность отбирать фотографии по городу, гендеру, 
возрасту и нескольким параметрам, извлеченным программой по анализу лиц. 

Приложение дает пользователям возможность изучать коллекцию фотографий двумя 
способами: с использованием человеческих оценок или компьютерных расчетов. Графики 
гендера и возраста слева построены на тегах и предположениях, сделанных людьми 
(работниками Ататоп МесВапса! 'ТагК). Во всех остальных графиках используются 
параметры лиц, полученные с помощью софта. Управление осуществляется в режиме 
реального времени, а в нижней части выдаются все фотографии, подходящие по 


критериям отбора. Результатом становится инновационный, гибкий метод навигации и 
обнаружения паттернов в обширной медиаколлекции. 

В дополнение к представлению массива селфи в визуализации, видео и 
интерактивном приложении эеехрюогаюгу, мы также решили представить избранные 
результаты в более традиционном формате статистики. Из общей совокупности мы 
выбрали и представили следующие результаты: 

1. В зависимости от города лишь 3—5 % проанализированных изображений 
составляют селфи. 

2. В каждом исследованном городе было значительно больше женских селфи, чем 
мужских (от 1,3 раза в Бангкоке до 1,9 раза в Берлине). Москва резко выбивается из этого 
ряда: здесь женских селфи в 4,6 раза больше. (Хотя у нас и нет подобных данных по 
другим странам, в США, по данным опроса Рем Кезеагсь Сещег, соотношение мужчин и 
женщин среди пользователей ш$%астат приблизительно равное.) 

3. Большинство людей на наших фотографиях достаточно молоды (средний возраст — 
23,7 года). Бангкок является самым молодым городом (21,0), а Нью-Йорк — самым 
взрослым (25,3). Средний возраст мужчин выше, чем у женщин, в каждом из городов. На 
удивление, среди более взрослых пользователей ш$асгат (30+) больше выкладывают 
селфи мужчины, нежели женщины. 

4. Вычислительный анализ лиц показал, что много улыбающихся лиц можно найти в 
Бангкоке (0,68 — средний балл по улыбкам) и в Сан-Паулу (0,64). Наименее улыбчивы 
люди на селфи в Москве (всего 0,53). 

5. На женских селфи более выразительные позы. Например, среднее значение наклона 
головы на 50 % больше, чем у мужчин (12,3° против 8,25). Самый большой зафиксирован 
в Сан-Паулу — там средний угол наклона головы у женщин составил 16,9°! 

Эти результаты представляют лишь некоторые обнаруженные нами паттерны. 
Пересматривая их, мы обнаружили, что каждый из пяти наших городов обладает какой- 
либо уникальной чертой. Один из городов, как правило, выделяется на общем фоне в 
зависимости от выбранного аспекта. Однако, когда мы объединяем несколько признаков, 
Москва и Бангкок выделяются среди остальных городов. 


ВАМСКОК ВЕРИМ МО$СОМ 
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2. Ппасер1[о( с распределением селфи из пяти городов по гендеру (вертикальная ось) и 
«степени» улыбки (горизонтальная ось). «Степень» улыбки была измерена с помощью 
софта для анализа лиц и могла принимать принимать значение от 0 (нет улыбки) до 100 
(широкая улыбка). Проект зеЙеспу 

Вероятно, наша самая интересная находка заключается в следующем. Даже несмотря 
на то, что люди используют для своих фотографий одно и то же приложение и сервис 
(а$(асгапл), что также позволяет им наблюдать, как фотографируют себя по всему миру 
другие пользователи, проанализированные нами селфи все же обладали значительными 
локальными особенностями. Позы меняются от города к городу и зависят от гендера и 
возраста. Таким образом, ш$аогат, вероятно, вносит свой вклад в формирование 
унифицированного «глобального визуального языка», однако в то же самое время 
передает культурные и социальные различия в саморепрезентации различных групп 
населения. 


2. На Бродвее 


В проекте Роюба1$ мы сравнивали фотографии из 13 глобальных городов, не фильтруя 
их по типу или местоположению. В зеШесиу мы отсеивали изображения, чтобы сравнить 
только один тип фотографий (селфи) между несколькими городами. В нашем следующем 
проекте «На Бродвее» мы решили присмотреться к миру социальных медиа, 
сосредоточившись на постах, опубликованных на одной городской улице. В то же время 
мы увеличили число источников наших данных: кроме ш$аогат мы использовали 
Тулвег, Ноигзачаге, Соос]е 5гее Уле\у, данные о начальных и конечных точках поездок 
такси, а также экономические показатели Бюро переписи населения США. 

Репрезентируя город 

Писатели, живописцы, режиссеры и цифровые художники создали множество 
захватывающих образов городской жизни. Парижские бульвары и кафе на картинах 


Писсарро и Ренуара, фотомонтажи берлинских дадаистов, «Буги-Вуги на Бродвее» Пита 
Мондриана, комиксы о Человеке-пауке Стэна Ли и Стива Дитко, «Время развлечений» 
Жака Тати и основанные на собранных данных карты «Местные и туристы» Эрика 
Фишера — все это классические примеры встречи художника с городом. Произведение, 
непосредственно вдохновившее нас на создание проекта, — «Каждое здание на Сансет 
Стрип» Эда Рушея (1966). Это книга художника, разворачивающаяся на 8,33 метра и 
демонстрирующая непрерывный вид обеих сторон участка Бульвара Сансет длиной 1,5 
мили, созданный из фотографий. 

Сегодня город «говорит» с нами посредством данных. Многие города создают 
доступные массивы данных и спонсируют хакатоны для поддержки создания полезных 
приложений на основе своих массивов. (Например, сайт открытых данных Нью-Йорка 
[6], спонсирующийся нью-йоркской мэрией, предоставляет более 1 200 массивов данных, 
касающихся всего: от деревьев в городе до данных о велосипедах.) Местные жители и 
туристы выкладывают гигантский объем визуальной информации с геопривязками, 
используя Тулвег, Ш$астат и другие сети. Такие сервисы, как Ноигзацаге, сообщают нам, 
куда вообще ходят люди и какие места они посещают чаще всего. 

Как мы можем репрезентировать ХХ] век, используя такое богатство данных и 
источников изображений? Существует ли помимо графиков, чисел и карт иной способ 
визуализировать город? 

Конструируя Бродвей 

Первым шагом нашего проекта было точное определение территории, подлежащей 
исследованию, и сбор данных с этой территории. Бродвей, как позвоночник у человека, 
проходит через самый центр острова Манхэттен. Мы хотели включить более широкую 
зону, чем сама улица, чтобы охватить активности также и в окрестностях. Для того чтобы 
очертить эту территорию, мы выбрали точки с интервалом 30 метров по центру Бродвея и 
обозначили прямоугольники шириной 100 метров, центрированные по этим точкам. В 
результате получилась фигура, напоминающая позвоночник, длиной 21 390 метров и 
шириной 100 метров. 

Координаты этой фигуры использовались для отбора данных из ш$аегат, Тулбег, 
Коигзачаге, боое 5гее Уле\/, данных такси и экономических показателей. Далее 
описаны составляющие наших массивов данных. 

Ш$аогат. Используя сервис Ор, мы скачали из ш$%астат все изображения с 
геопривязкой, выложенные в общий доступ в Нью-Йорке с 26 февраля по 3 августа 2014 
года. Объем данных составил 10 624 543 изображения, из которых 661 809 были 
непосредственно с Бродвея. 

Тулбег. зой\аге 5 е$ Пийайуе в рамках программы Тул(ег аа Ога получила все 
общедоступные твиты с изображениями со всего мира за 2011—2014 годы. Мы 
отфильтровали этот массив данных, оставив только те твиты, которые были выложены на 
территории Бродвея в течение того же периода времени, что и данные из ш$(аегат 
(158 дней в 2014 году). 

Копгзаиаге. Данные Еопгзацаге относились к периоду с марта 2009 года по март 2014 
года (1 826 дней) и были загружены с помощью РКопгзачаге АРТ. Всего по Бродвею мы 
насчитали 8 527 198 чекинов. 

Изображения из Соозе 5гееё Утеуу. Эксперименты с фиксированием нашего 
передвижения по Бродвею с помощью видео и фото выглядели не так удачно, как 
изображения из Соозе 5тгеег Улех. Поэтому мы решили включить эти изображения в 
качестве еще одного источника данных. Мы написали скрипт и использовали его для 
загрузки изображений (по одному для каждой из 713 точек Бродвея) по трем 
направлениям: восток, запад и верх. Первые два показывали здания по обеим сторонам 
улицы. Направление вверх особенно интересно, так как оно с помощью широкоугольной 
линзы Соозе позволяет увидеть, сколько неба доступно для обзора между зданиями. На 


большей части изображений из Даунтаун и Мидтаун представлены высотные здания, и 
виден лишь небольшой участок неба. В северной же части Бродвея здания ниже, поэтому 
неба на изображениях присутствует больше. 

Такси. Крис Вонг получил данные о начальных и конечных точках поездок такси за 
2013 год от комиссии по такси и лимузинам (ТТ) Нью-Йорка [7].В 2013 году в 
Манхэттене было осуществлено 140 миллионов поездок. После того как эта база была 
согласована с нашими координатами, осталось 22 миллиона поездок (12 391 809 
начальных точек и 10 077 789 конечных). 

Экономические показатели. Мы использовали самые последние данные 
Американского опроса общественного мнения (АСЗ). Это ежегодный опрос, проводимый 
Бюро переписи населения среди групп жителей США. АСЗ представляет данные, 
обобщая их по зонам переписи. Эти территории гораздо больше прямоугольников 100х30 
метров, которые мы использовали, для того чтобы очертить территорию Бродвея. Наш 
Бродвей состоит из 713 прямоугольников, пересекающих '/3 зоны переписи. Из-за 
разницы в масштабах любые статистические данные переписи были бы не вполне 
применимы к меньшим по размеру участкам Бродвея. Учитывая это, мы решили 
использовать только один экономический показатель от АСЗ: средний уровень дохода 
семьи. Эти данные стали одним из слоев в приложении. 

3. Слои данных и изображений, использованные при создании интерфейса для 
навигации по улице. Проект «На Бродвее» 
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Передвижение по «улице данных» без карты 


Мы потратили месяцы на эксперименты с разными способами представления всех 
этих данных с помощью визуального интерактивного интерфейса. Результатом наших 
поисков стал визуально богатый интерфейс, где центральное положение занимают 
изображения, числа играют второстепенную роль, а карты не используются вовсе. 

В проекте предложена новая визуальная метафора для размышления о городе: 
вертикальный ряд слоев изображений и данных. Всего в проекте 13 таких слоев, 
выстроенных по локациям вдоль Бродвея. Продвигаясь по улице, вы видите подборку 
шп $аогат-фотографий с каждой территории, изображения из Соозе этее Улем слева, 
справа и сверху и основные цвета, извлеченные из наших источников изображений. 
Кроме того, мы показываем среднее число начальных и конечных точек маршрутов такси, 
постов с изображениями из Тул(ег и средний семейный доход в тех частях города, через 
которые проходит Бродвей. Для помощи в навигации мы добавили дополнительные слои 
с названиями кварталов и улиц Манхэттена, которые пересекает Бродвей, а также 
достопримечательностейи. 

4. Скриншот приложения, показывающего Таймс-сквер в приближенном виде. Проект 
«На Бродвее» 
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5. Скриншот приложения с видом всех тринадцати миль улицы. Проект «На Бродвее» 
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Этот интерактивный интерфейс доступен онлайн на сайте проекта. Гакже мы 
демонстрировали его на 46-дюймовом интерактивном сенсорном экране в рамках 
выставки «Публичный взгляд» (РиБИс Еуе) в Нью-Йоркской публичной библиотеке 
(декабрь 2014 года — январь 2016 года). Поскольку выставка была бесплатной и 
ежедневно открытой для посещения, на ней постоянно присутствовали десятки людей, и 
мы могли видеть, как взаимодействовали с интерфейсом жители Нью-Йорка и туристы. 
Стало ясно, что благодаря решению с визуальными слоями — фотографиями из ш$азтат 
и изображениями @оо$е Угеес Уле\у — интерфейс оказался информативным и полезным 
для публики. Мы не раз видели, как посетители сразу же находили и зумировали 
определенный городской квартал, значимый для них: возможно, место, где они родились 
или долгое время жили. 

Персонализация больших данных была одной из наших главных задач. Мы хотели 
дать горожанам возможность увидеть, сколько типов городских данных могут 
соотноситься друг с другом, а также позволить им соотнести огромные и подчас 
абстрактные массивы данных с их личным опытом: местами, которые они посещают или 
где живут. 

6. Взаимодействие с инсталляцией «На Бродвее» на выставке «Публичный взгляд» в 
Нью-Йоркской публичной библиотеке (2014—2016) 





Заключение. Эстетика и политика больших данных 


Сегодня компании, государственные структуры и другие организации собирают большие 
объемы данных о городах. Эти данные используются множеством незаметных для нас 
способов. В то же время, как я уже отмечал, многие города открывают доступ к 
некоторым своим массивам и спонсируют конкурсы на создание полезных приложений, 
использующих эти данные. 

Но эти два действия — сбор данных и предоставление общественности доступа к ним 
— не симметричны. Данные, предоставляемые городами, фиксируют лишь то, что 
управляется и контролируется городом: парки и улицы, ремонт инфраструктуры, штрафы 
за парковку и т. д. Это данные о городе как некой целостности, а не об отдельных людях 
или паттернах их деятельности. Данные же, собранные и проанализированные сервисами 
социальных медиа, сетью камер видеонаблюдения, телекоммуникационными 
компаниями, банками и их корпоративными клиентами (или государственными органами, 
если они смогли получить доступ к части этих данных), касаются индивидов: паттернов 
их передвижения, коммуникации с другими людьми, их мнений и финансовых сделок. 

Некоторые данные из социальных медиа с помощью АР! легко доступны любому 
человеку с базовым знанием программирования. Эти данные используются в 
многочисленных бесплатных и коммерческих приложениях. (Например, когда я 
использую ВийЁег, чтобы составить расписание своих постов в Тул@ег и Еасебоок, ВиНег 
взаимодействует с ними через их АРТ, чтобы разместить посты в моих аккаунтах в 
определенное время.) Эти же данные уже использовались в сотнях тысяч работ и 
выступлений на конференциях по компьютерным наукам. Студенты на занятиях по 
компьютерным наукам и дизайну, выполняя свои задания, регулярно выгружают, 
изучают и визуализируют данные из социальных медиа. Но обычные люди оказываются 
не в курсе, что твиты, комментарии, изображения и видео, которыми они делятся, легко 
доступны любому, кто использует инструменты АР]. В статьях популярных СМИ часто 
отмечается, что пользовательские данные собираются, агрегируются и используются для 


разнообразных целей вроде слежки или кастомизации рекламы. Однако обычно в них не 
пишут о том, что эти данные также доступны отдельным исследователям, художникам и 
студентам. 

Художники определенно могут сыграть свою роль в «просвещении публики» по 
поводу доступа и использования частных данных. На сайте нашего проекта мы подробно 
объясняем, как получили данные для проектов РоюгаЦ$, эеесцу и Оп Вгоа4\ау, а 
также как мы их использовали. Но главной нашей целью было «эстетическое 
просвещение», а не «политическое». 

Большие данные, включая визуальные данные из социальных медиа, являются нашим 
новым художественным средством, и в рассмотренных проектах исследуются его 
возможности. На самом деле, мы хотели объединить эстетические и исследовательские 
вопросы: не только что мы можем узнать из социальных медиа, но и как мы используем 
их для создания эстетических репрезентаций и практик? Как нам следует представлять 
свои города и себя в них в эпоху больших объемов данных и их алгоритмического 
анализа‘? Как могут в визуализации подобных данных сочетаться общие паттерны и 
отдельные детали? Какие альтернативные интерфейсы существуют для изучения этих 
данных и взаимодействия с ними, помимо линейно организованных «стен», карт, 
таймлайнов и прямоугольных сеток изображений и видео из НасеБоок, Тулёег, УоиТабе и 
других сервисов социальных медиа? Одним словом, как мы можем иначе смотреть не 
только на окружающий нас мир (это было главным вопросом модернистского искусства), 
но также и на нашу новую «реальность данных»? 


ЖЖ 


[1] Бер://рБоюнгаЦ$.пеи. 

[2] Бер://зеесику.пеи. 

[3] Бер://\у\у\.оп-Бгоаа\ау.пус/. 

[4] 6рз://ептр.соту. 

[5] Бер://уппео.сот/тогии$еТапег/зешНеску-Нуе-с1йез. 

[6] Брз://4аа.пу.=оу/. 

[7] О том, как они были получены, см.: В@р://с 1$ \Воп®.сош/ореп-4ааЛо!_пус_(ахи. 
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Изучая большие культурные данные: социальный компьютинг и цифровые 
гуманитарные науки 


Я определяю культурную аналитику как анализ больших массивов и потоков культурных 
данных с использованием вычислительных методов и методов визуализации. Этот подход 
я разрабатывал с 2005 года, а в 2007 году мы создали исследовательскую лабораторию 
эой\аге 5 1ез пийайуе для работы над конкретными проектами. Далее представлены 
примеры теоретических и практических вопросов, которые определяют направления 
нашей деятельности. 

Что означает репрезентация «культуры» через «данные»? Каковы уникальные 
возможности, предлагаемые вычислительным анализом больших культурных данных, в 
сравнении с качественными методами, используемыми в гуманитарных и социальных 
науках? Как использовать количественные методы для изучения ключевой культурной 
формы нашей эпохи — интерактивных медиа? Как можно совмещать вычислительный 
анализ и визуализацию больших культурных данных с качественными методами, такими 
как пристальное чтение (с]о$е геад11>)?? (Другими словами, как можно сочетать анализ 
общих паттернов с анализом отдельных артефактов и их деталей?) Как с помощью 
вычислительного анализа должным образом оценить вариативность и многообразие 
культурных артефактов и процессов, не сосредотачивая внимание лишь на «типичном» и 
«самом популярном»? 

Восемь лет спустя работы нашей лаборатории представляют собой лишь малую часть 
огромного корпуса исследований. С тех пор тысячи исследователей опубликовали 
десятки тысяч работ, в которых анализируются паттерны в больших массивах культурных 
данных. В первую очередь это данные, описывающие активность в самых популярных 
социальных сетях (Ейскг, ш%астат, УоцТабе, Тулёег и др.), пользовательский контент, 
загружаемый в эти сети (твиты, изображения, видео и т. д.), а также взаимодействие 
пользователей с этим контентом (лайки, репосты, комментарии). Кроме того, 
исследователи начали анализировать определенные профессиональные культурные 
сферы и исторические периоды, например дизайн веб-сайтов, фэшн-фотографию, поп- 
музыку ХХ века, литературу ХХ века и т. д. Эта работа осуществляется в двух недавно 
возникших областях исследований: социальном компьютинге и цифровых гуманитарных 
науках. 

Что тогда остается культурной аналитике? Я полагаю, что она продолжает быть 
перспективным подходом. Как мы увидим, цифровые гуманитарные науки и социальный 
компьютинг формируют собственное поле исследований в соответствии с типом 
изучаемых культурных данных, в то время как культурная аналитика не ограничена 
этими рамками. Мы также не заинтересованы в том, чтобы выбирать между целями и 
методологиями гуманитарных и точных наук или выстраивать их иерархию. Вместо этого 
мы совмещаем свойственное гуманитарным наукам внимание к единичному, прошлому и 
интерпретации со сферой интересов точных наук (акцент на общем, формальных моделях 
и прогнозировании будущего). В данной статье я планирую рассмотреть эти и другие 
характеристики обоих подходов к изучению больших массивов культурных данных и 
того, как они развивались до настоящего времени, выделяя при этом возможности и идеи, 
которые до сих пор не были проработаны. 

Исследователи из сферы цифровых гуманитарных наук используют компьютеры в 
основном для анализа исторических артефактов, созданных профессионалами, например 
романов, написанных писателями ХХ века. В выборе объекта исследования ученые 
ограничены временными рамками, которые определены законами об авторском праве их 
стран. Например, в соответствии с Законом об авторском праве США, срок действия 
авторских прав составляет 95 лет с момента публикации. (Так, на 2015 год под защиту 


попадают все произведения, созданные после 1920 года, если только это не недавний 
цифровой контент под лицензией Сгеайуе Соттоп$з.) Я могу понять уважение к законам 
об авторском праве, но именно из-за них исследователи из области цифровых 
гуманитарных наук оказываются отрезанными от изучения современности. 

Область социального компьютинга в тысячи раз шире. Здесь специалисты с учеными 
степенями по компьютерным наукам исследуют онлайновый пользовательский контент и 
способы взаимодействия с ним. Отметим, что эти исследования проводятся не только 
учеными, профессионально связывающими себя со сферой социального компьютинга [ |], 
но и специалистами из ряда других областей компьютерных наук, таких как 
мультимедиа-технологии, компьютерное зрение, музыкальный информационный поиск, 
обработка естественного языка и веб-наука. Поэтому термин социальный компьютинг 
также можно использовать в качестве собирательного понятия для всех исследований в 
компьютерных науках, в которых анализируются контент и активность в социальных 
сетях. В этой сфере исследователи имеют дело с данными после 2004 года, когда начали 
набирать популярность социальные сети и сервисы по обмену медиаконтентом. 
(Поскольку проведение исследования и публикация его результатов занимают один-два 
года, текст, вышедший в 2015 году, как правило, опирается на данные, собранные в 
2012—2014 годах.) Массивы данных здесь обычно гораздо больше тех, которые 
используются в цифровых гуманитарных науках. Десятки или сотни миллионов постов, 
фотографий или других объектов — это привычное дело. В связи с тем, что большую 
часть пользовательского контента создают не профессионалы, а обычные люди, в рамках 
социального компьютинга по умолчанию изучается непрофессиональная вернакулярная 
[2] культура. 

Масштабы этих исследований могут удивить гуманитариев и художников, которые 
зачастую не осознают, как много людей работает в компьютерных науках и смежных с 
ними областях. Например, поиск в Соое эспо]аг по запросу Тул@ег дабазее ао т 
(«Тущег массив данных алгоритм») дает результат в 102 000 работ, запрос УоиТиБе у14ео 
абазе{ («УочТибе видео массив данных») выдает 27 800 работ, а запрос ЕйсКг птасе$ 
ай>огифт («ЕйсКг изображения алгоритм») — 17 400 работ. Поиск по запросу 
сотшршщапопа] аезфейс$ да{азе («компьютерная эстетика массив данных») выдает 
14 100 результатов. Даже если реальные цифры гораздо меньше, они все равно 
впечатляют. Очевидно, что не все эти публикации напрямую касаются культурной 
проблематики, но многие так или иначе ее затрагивают. 

Итак, различия между этими двумя областями я представляю следующим образом: 

Социальный компьютинг Цифровые гуманитарные науки 
и различные области (В особенности исследования, Б 
компьютерных наук, которых акцент сделан 

Б КОТОрых изучаются на количественном анализе, 


социальные сети и осуществляемом с помошью 
медиаконтент методов компьютерных наук) 


исло 
Десятки тысяч Менее ста 
публикаций 


Контент и активность 

пользователей на веб- Исторические артефакты вплоть 
сайтах и в социальных до начала ХХ века 

медиа после 2004 года 


Исс леду емый 


Обычные люди, 
распространяющие контент 
в социальных сетях 


Профессиональные писатели, 
художники, композиторы ит. д. 


От тысяч до сотен 
миллионов ОбЪектов и 
миллиарды связей 


Как правило, сотни или тысячи 
объектов 





Почему в компьютерных науках ученые редко работают с большими массивами 
исторических данных? Как правило, они обосновывают целесообразность своих 
исследований, обращаясь к уже существующим способам их практического применения, 
например поиску или системам рекомендаций для онлайн-контента. Общее допущение 
заключается в том, что компьютерные науки создадут более совершенные алгоритмы и 
другие технологические решения для производства и государственных структур. Анализ 
исторических артефактов оказывается за пределами этой задачи, и вследствие этого лишь 
немногие исследователи в сфере компьютерных наук работают с историческими данными 
(единственным исключением является область цифрового наследия [3]). 

Однако если посмотреть на многочисленные примеры работ из этой сферы, то 
становится очевидно, что на самом деле они представляют собой гуманитарные 
исследования и исследования коммуникации (Соттитсаноп 5а01ез) (в отношении 
современных медиа), но в гораздо бо льших масштабах. Возьмем для примера недавние 
публикации «Количественный подход к анализу визуальных предпочтений по всему 
миру» и «Что мы публикуем в ш%аогат: первый анализ фотоконтента и типов 
пользователей» [4]. В первом исследовании на основании 2,4 миллиона оценок 40 тысяч 
людей из 179 стран анализируется, какой дизайн веб-сайтов в наибольшей степени 
привлекает пользователей по всему миру. Очевидно, что изучение эстетики и дизайна 
традиционно было частью гуманитарного поля. Во втором исследовании произведен 
анализ наиболее частых сюжетов фотографий в ш$аогап1 — тема, которую можно 
сравнить с искусствоведческими исследованиями жанров голландской живописи 
ХУП века. 

Другим примером может служить работа под названием «Что такое Тулщет: 
социальная сеть или новостное СМИ?» [5]. Она была опубликована в 2010 году и 
процитирована 3 284 раза в других работах по компьютерным наукам [6]. Это был первый 
масштабный анализ социальной сети Тул@ег на основе 106 миллионов твитов от 
41,7 миллиона пользователей. В частности, изучение популярных тем показало, «по 
каким категориям распределяются трендовые темы, как долго они держатся в «топе» и 
сколько пользователей вовлечено в их контекст». Это классические вопросы из сферы 
исследований коммуникации, возвращающие нас к пионерской работе Пола 
Лазарсфельда и его коллег, которые в 1940-х годах вручную считали темы радиопередач. 
Но принимая во внимание, что Тулёег и другие службы микроблогинга представляют 
собой новые формы медиа — как и масляная живопись, печатная книга и фотография в 
предыдущие периоды, — понимание специфики Тул(ег в качестве медиума также 
является темой гуманитарных исследований. 

Небольшое число публикаций находится на пересечении цифровых гуманитарных 
наук и социального компьютинга. Их авторы используют вычислительные методы и 
алгоритмы, разработанные специалистами по компьютерным наукам для изучения 
современного пользовательского контента и медиа, и применяют их к историческим 
артефактам, созданным профессиональными художниками, писателями, редакторами, 
музыкантами или кинематографистами. Показательными примерами этого подхода 
являются такие проекты, как «Об автоматическом определении художественного 
влияния» [7], «Инфицирующие тексты: моделирование повторного использования 
текстов в газетах ХХ века» [83], «Измеряя эволюцию современной западной поп-музыки» 
[9] и «Короче, быстрее, темнее: изменения в голливудских фильмах за 75 лет» [10]. 

Еще несколько лет назад единственным проектом, в котором культурная история 
анализировалась на действительно большом материале — на материале миллионов 
текстов, — был проект, осуществленный учеными, занимающимися точными, а не 
гуманитарными науками. Я имею в виду М-Огат Уле\ег, созданный в 2010 году 
специалистами Сооз]е Джоном Орвантом и Уиллом Брокманом. За основу был взят 
прототип, разработанный двумя аспирантами из Гарварда, специализировавшимися на 


биологии и прикладной математике. Однако в последнее время в цифровых 
гуманитарных науках наблюдается увеличение масштабов изучаемых данных. Например, 
в работе «Картографирование изменения жанров на материале комплексного архива» 
литературовед Тед Андервуд и его соавторы проанализировали 469 200 томов из 
электронной библиотеки На ТГгаз [11]. Историк искусства Максимилиан ШИих и его 
коллеги проанализировали жизненные траектории 120 тысяч выдающихся исторических 
личностей («Сетевая модель культурной истории») [12]. И даже еще более обширные 
массивы исторических данных литературы, фотографии, кино и телевидения становятся 
доступными, пусть эти данные еще только предстоит изучить. В 2012 году 
Муниципальный архив Нью-Йорка опубликовал 870 тысяч оцифрованных фотографий из 
истории города [13]. В 2015 году На@!ТГга$ сделала доступными для исследования 
данные из 4 801 237 томов (содержащих 1,8 миллиарда страниц) [14]. В том же году ТБе 
Аззостаеа Ргезз и Ваз Мочмеюпе загрузили на УочТиБе 550 тысяч оцифрованных 
новостных сюжетов начиная с 1895 года и до наших дней [15]. 

В чем заключается значимость таких больших массивов культурных данных? Не 
можем ли мы для решения тех же задач использовать меньшие по объему выборки? Я 
полагаю, что мы работаем с большими данными по двум причинам. Во-первых, чтобы 
получить репрезентативную выборку, мы должны для начала иметь гораздо больший 
набор позиций, из которых она составляется, или по крайней мере точное понимание 
того, что в себя включает этот набор. Так, например, если мы хотим создать 
репрезентативную выборку фильмов ХХ века, мы можем использовать ПМОЬ, где 
хранится информация о 3,4 миллиона фильмов и телепередач (включая отдельные 
эпизоды) [16]. Аналогичным образом мы можем создать неплохую выборку из страниц 
старых газет, используя Историческую коллекцию американских газет, включающую 
миллионы оцифрованных страниц из Библиотеки Конгресса [17]. Но во многих других 
культурных областях таких больших массивов данных нет, а без них, вероятнее всего, 
будет невозможно составлять репрезентативные выборки. 

Вторая причина заключается в следующем. Если предположить, что составление 
репрезентативной выборки в какой-либо области культуры возможно, мы могли бы 
использовать ее для выявления основных трендов и паттернов. Например, в уже 
упоминавшейся работе «Что мы публикуем в ш%астат: первый анализ фотоконтента и 
типов пользователей» трое специалистов из области компьютерных наук 
проанализировали тысячу ш$азтат-фотографий и выделили восемь наиболее часто 
встречающихся категорий (селфи, друзья, мода, еда, гаджеты, отдых, домашние 
животные, фото с добавленными надписями). Выборка объемом в одну тысячу снимков 
была случайным образом отобрана из общего числа изображений, распространенных 
95 343 пользователями. Возможно, эти восемь категорий являются наиболее 
популярными среди всех изображений в ш$аегат в период проведения исследования. 
Однако, как показали наши проекты, в которых мы анализировали ш$аеогат-фотографии 
из различных городов и их частей (например, из центра Киева во время Украинской 
революции в 2014 году для проекта «Исключительное и повседневное» [ 18|), люди также 
делятся множеством других типов фотографий. В зависимости от географического 
положения и периода времени восьмерка самых популярных типов может меняться. 
Другими словами, хотя с помощью небольшой выборки можно определить «типичное» 
или «самое популярное», она не позволяет раскрыть то, что я называю «островами 
контента», — типы контента с определенными семантическими и/или эстетическими 
характеристиками, общими для небольшого количества объектов. 


Можем ли мы изучить все? 


Когда в 2005 году я начал размышлять о понятии культурная аналитика, и цифровые 
гуманитарные науки и социальный компьютинг только формировались как новые области 


исследований. Я почувствовал необходимость ввести это понятие, для того чтобы 
подчеркнуть, что работа нашей лаборатории не будет просто осуществляться в рамках 
цифровых гуманитарных наук или социального компьютинга, но коснется предмета 
изучения обеих областей. Нас, как и специалистов по цифровым гуманитарным наукам, 
интересует анализ исторических артефактов, но в той же степени — современная 
цифровая визуальная культура (например, ш$азтат). Кроме того, в сферу нашего 
внимания на равных правах входят профессиональная культура и артефакты, созданные 
любителями и художниками вне «мира искусства» (например, Ремлаш Ай — «крупнейшая 
социальная сеть для художников и людей, увлекающихся искусством» [ 19]), а также 
случайными людьми (скажем, теми, кто время от времени загружает свои фотографии в 
социальные сети). 

Как и ученых в области компьютерных наук и социального компьютинга, нас 
привлекает изучение общества с помощью социальных медиа и специфических 
феноменов, характерных для соцсетей. Пример первого — поиск схожих городских 
кварталов при помощи анализа активности пользователей в социальных сетях из проекта 
«Тре Глуебоо4$ Рго]есг: использование социальных медиа для понимания динамики 
города» [20]. Пример последнего — анализ паттернов распространения информации в 
сети, предложенный в статье «Информационные каскады замедленного действия во 
Ейскг: измерение, анализ и моделирование» [21]. Однако, если в сфере социального 
компьютинга акцент делается на социальное в соцсетях, то в фокусе культурной 
аналитики находится культурное. (Поэтому наиболее релевантной областью социальных 
наук для культурной аналитики является социология культуры, и лишь потом — 
социология и экономика.) 

Мы полагаем, что контент и пользовательская активность в интернете и социальных 
сетях, с одной стороны, дают нам беспрецедентную возможность описывать, 
моделировать и симулировать глобальную культурную среду, а с другой — подвергать 
сомнению и переосмысливать базовые концепции и инструменты гуманитарных наук, 
которые были разработаны для анализа «малых культурных данных» (крайне неполных и 
нерепрезентативных культурных выборок). Согласно весьма влиятельному определению, 
которое в 1869 году дал британский культуролог Мэтью Арнольд, культура — это «то 
лучшее, что было когда-либо помыслено и сказано в мире» [22]. Академические 
гуманитарные науки во многом следовали этому определению. И даже когда они 
восстали против своих же собственных канонов и стали включать в сферу своего 
внимания работы прежде исключавшихся авторов (женщин, не-белых, не-западных, квир- 
авторов и т. д.), включали они зачастую только «лучшее» из созданного теми, кто ранее 
был исключен. 

В культурной аналитике исследуется все, созданное всеми. Здесь мы подходим к 
культуре так же, как лингвисты — к языкам или биологи — к жизни на Земле. В идеале 
мы бы хотели взглянуть на каждое культурное явление, а не на отдельные выборки. (Этот 
более системный подход в чем-то схож с культурной антропологией.) Подобный 
исследовательский контекст, в котором сочетаются профессиональное и вернакулярное, 
историческое и современное, представлен в серии проектов нашей лаборатории, над 
которыми мы работали начиная с 2008 года. Мы анализировали исторический 
культурный материал, созданный профессионалами: все обложки журнала Тите 
(1923—2009); произведения Винсента Ван Гога, Пита Мондриана и Марка Ротко; 20 тысяч 
фотографий из коллекции Нью-Йоркского музея современного искусства (МоМА); один 
миллион страниц из 883 выпусков манги, опубликованных за последние 30 лет. Наш 
анализ современного вернакулярного контента включает проекты РВоюгаЦ$ (сравнение 
визуальной специфики 13 глобальных городов с использованием 2,3 миллиона 
фотографий из ш%аетат) [23], «Исключительное и повседневное: 144 часа в Киеве» 
(анализ изображений, загруженных в ш%асогат в Киеве во время Украинской революции 


2014 года) и «На Бродвее» (интерактивная инсталляция, представляющая собой 
исследование известной нью-йоркской улицы и включающая 40 миллионов фотографий 
пользователей и других данных) [24]. Мы также рассматривали современный 
любительский и полупрофессиональный материал (один миллион произведений 
искусства, загруженных 30 тысячами полупрофессиональных художников на Реула (Аг). 
Сейчас мы исследуем массив данных из 265 миллионов изображений, распространенных 
через Тулбег по всему миру за 2011—2014 годы. Таким образом, в своей работе мы не 
обозначаем границу между (меньшими по числу) историческими профессиональными 
артефактами и (более обширным) онлайновым цифровым контентом, созданным 
непрофессионалами. Вместо этого мы свободно используем оба типа данных. 

Очевидно, что в социальные сети включено не все население Земли, а 
распространяемый контент может быть характерен для конкретных социальных сетей 
(например, селфи как феномен ш$агоат), что отличает его от существовавшего ранее. 
Этот контент также формируется различными инструментами и интерфейсами 
технологий, используемых для его создания, фиксации, редактирования и 
распространения (например, фильтрами в ш$%асгат или программами для создания 
коллажей, такими как шуаСоПасе). Возможные типы культурных действий также 
обусловлены этими технологиями. Например, в социальных сетях вы можете поставить 
лаик, поделиться записью или написать комментарий к определенному контенту. Иными 
словами, здесь, как и в квантовой физике, инструмент может оказывать влияние на 
изучаемое явление. Все это обязательно должно быть учтено при исследовании 
созданного пользователями контента и пользовательской активности. Несмотря на то, что 
прикладные программные интерфейсы (АРТ) социальных сетей позволяют без труда 
получить доступ к гигантским объемам контента, это отнюдь не все, созданное всеми. 


Общее и особенное 


Когда гуманитарные науки занимались «малыми данными» (контентом, созданным 
отдельными авторами или небольшими коллективами), социологическая перспектива 
была лишь одним из возможных способов интерпретации, если, конечно, речь не шла о 
марксистах. Но, как только мы начинаем изучать онлайновый контент и взаимодействия 
миллионов людей, эта перспектива становится практически неизбежной. В случае с 
«оольшими культурными данными» культурное и социальное накладываются друг на 
друга. Большие группы людей из разных стран и с разным социально-экономическим 
статусом (социологическая перспектива) делятся изображениями, видео, текстами, 
совершая при этом определенный эстетический выбор (гуманитарная перспектива). Из-за 
этого наложения вопросы, которыми занималась в ХХ веке социология культуры (в 
частности, наиболее влиятельный представитель этой дисциплины Пьер Бурдьб [25]), 
имеют прямое отношение к культурной аналитике. 

Учитывая, что в наших размышлениях об обществе определенные демографические 
категории стали восприниматься как само собой разумеющиеся, разделение людей по 
этим категориям и сравнение их по социальным, экономическим или культурным 
показателям кажутся естественными. Например, Рем Кезеагсь Сещег регулярно 
представляет статистику использования популярных социальных платформ, разбивая 
выборку пользователей по таким демографическим характеристикам, как гендер, 
этническая принадлежность, возраст, образование, доход и место жительства (города, 
пригороды или деревни) [26]. Поэтому если нас интересуют различные детали активности 
в социальных медиа: типы изображений, которыми делятся пользователи, лайки, 
используемые фильтры или позы на селфи, — то логично будет изучать различия в 
реализации этой активности между людьми из разных стран, с различной этнической 
принадлежностью, социально-экономическим статусом или уровнем владения 
технологиями. Авторы предыдущих исследований в области социального компьютинга и 


большинство нынешних не учитывают эти различия и относятся ко всем пользователям 
как к единому недифференцированному «человечеству». Но в последнее время все же 
начинают появляться публикации, в которых пользователи разделяются на 
демографические группы. И хотя это можно считать важным шагом, мы не должны 
заходить слишком далеко. Гуманитарная аналитика культурных феноменов и процессов, 
пользующаяся количественными методами, не должна быть попросту сведена к 
социологии, т. е. учитывать лишь общие характеристики и поведение групп. 

Социологическая традиция связана с поиском и описанием общих паттернов 
человеческого поведения, а не с анализом или прогнозированием поведения отдельных 
индивидов. В рамках культурной аналитики также исследуются паттерны, которые могут 
быть выявлены в результате анализа больших массивов культурных данных. Однако в 
идеале анализ общих паттернов должен привести нас к частным случаям, т. е. к 
отдельным авторам, их конкретным произведениям или культурному поведению. 
Например, вычислительный анализ всех снимков, сделанных фотографом на протяжении 
карьеры, позволяет выявить те, которые сильнее всего выделяются из общего корпуса 
работ. Аналогичным образом мы можем проанализировать миллионы ш$%астат- 
изображений из множества городов, чтобы найти типы, уникальные для каждого города 
(это пример из текущего исследования нашей лаборатории). 

Иначе говоря, мы можем совмещать проблематику социальных наук и науки в целом 
— общее и повседневное — с проблемами гуманитарных наук: индивидуальным и 
особенным. (В конечном счете в истории искусств все великие художники были теми, кто 
выделялся на фоне своих современников.) Вышеописанные примеры анализа больших 
массивов данных с целью приблизиться к уникальным объектам иллюстрируют один из 
возможных, но не единственный способ достижения этой цели. 


Наука о культуре? 


Цель науки — объяснить феномены и найти компактные математические модели для 
описания их работы. Три закона ньютоновской физики — идеальный пример того, как 
добивалась этой цели классическая наука. Начиная с середины ХХ века рядом новых 
научных дисциплин был принят новый, вероятностный, подход. Первым примером его 
применения было статистическое распределение, позволяющее определять вероятные 
скорости молекул газа, представленное Джеймсом Клерком Максвеллом в 1860 году 
(теперь оно известно как распределение Максвелла—Больцмана). А как обстоит дело в 
социальных науках? На протяжении ХУШ и ХХ веков многие мыслители ожидали, что 
со временем, как и в физике, будут обнаружены количественные законы, управляющие 
обществом [27]. Однако этого так и не произошло. (Ближе всего к постулированию 
объективных законов в социальной мысли ХХ века оказался Карл Маркс.) Вместо этого 
позитивистские социальные науки с начала своего развития в конце ХХ - начале ХХ 
века приняли вероятностный подход. Так, вместо того чтобы искать детерминистские 
законы общества, специалисты в области общественных наук изучают корреляции между 
измеряемыми характеристиками и моделируют отношения между «зависимыми» и 
«независимыми» переменными с использованием разнообразных статистических 
методов. 

После детерминистской и вероятностной научных парадигм следующей парадигмой 
стала компьютерная симуляция — прогон моделей на компьютерах для воспроизведения 
поведения систем. Первая крупномасштабная компьютерная симуляция была создана в 
1940-х годах Манхэттенским проектом для моделирования ядерного взрыва. 
Впоследствии симуляция как метод вошла во многие естественные науки, а в 1990-х 
годах была подхвачена и социальными науками. 

В начале ХХ[ века объем онлайнового цифрового контента и пользовательских 
взаимодействий позволяет допустить мысль о возможности создания науки о культуре. 


Например, известно, что к лету 2015 года пользователи НКасебооКк ежедневно делились 400 
миллионами фотографий и отправляли 45 миллиардов сообщений [23]. Этот масштаб все 
еще гораздо меньше объема атомов и молекул — например, один кубический сантиметр 
воды содержит 3,33х10 [22] молекул. Однако это число уже превышает количество 
неиронов во всей нервной системе среднестатистического взрослого человека, которое 
составляет примерно 86 миллиардов. Учитывая то, что сегодня наука включает несколько 
базовых подходов к изучению и пониманию феноменов: детерминистские законы, 
статистические модели и симуляцию, — как понять, какой из них должна принять 
гипотетическая наука о культуре? 

Если взглянуть на работы исследователей из области компьютерных наук, изучающих 
массивы данных социальных медиа, станет ясно, что они по умолчанию используют 
статистический метод [29]. Они описывают данные социальных медиа и поведение 
пользователей с точки зрения вероятностей. Этот метод включает в себя создание 
статистических моделей — математических уравнений, устанавливающих отношения 
между переменными, которые могут быть описаны с использованием вероятностного 
распределения, а не конкретных значений. В большинстве работ сегодня также 
применяется машинное обучение с учителем — автоматическое создание моделей, с 
помощью которых можно классифицировать или предсказывать значения новых данных, 
используя уже существующие примеры. В обоих случаях модель может подходить лишь 
для части данных, что типично для статистического подхода. 

Использование статистических методов в компьютерных исследованиях социальных 
медиа отличается от их использования в социальных науках. Последние пытаются 
объяснить социальные, экономические или политические явления (например, влияние 
семьи на обучение детей). Исследователи из области компьютерных наук, как правило, не 
озабочены объяснением обнаруженных паттернов в социальных медиа с помощью 
внешних социальных, экономических или технологических факторов. Вместо этого они 
либо проводят внутренний анализ феноменов в социальных медиа, либо пытаются 
предсказать внешние явления, используя информацию, полученную из массивов данных 
социальных медиа. Пример первого — статистическое описание того, сколько Гауогие$ в 
среднем может получить фотография во ЕйскКг за определенный период времени [30]. 
Пример последнего — служба боое Ем Тгепа$, прогнозирующая активность гриппа 
благодаря использованию данных поисковой системы @оое и официальных данных по 
гриппу из Центров по контролю и профилактике заболеваний США (СОСО) [31]. 

Различие между законами детерминизма и недетерминистскими моделями 
заключается в том, что последние описывают лишь вероятности, а не достоверные факты. 
Законы классической механики применимы к любым макроскопическим объектам. И 
напротив, такая вероятностная модель предсказания количества Гауогцез$ для фотографии 
во ЕИскг, как функция от времени с момента загрузки, не может дать нам их точное 
количество для каждой конкретной фотографии. Она лишь описывает общую тенденцию. 
Этот метод кажется подходящим для «науки о культуре». Ведь если вместо этого мы 
будем постулировать детерминистские законы культурной активности человека, то что 
станет с идеей свободной воли’? Даже в случае с культурным поведением, кажущимся 
автоматическим (люди ставят лайки в соцсетях под определенными фотографиями, на 
которых изображены, например, красивые пейзажи, милые домашние животные или 
позирующие девушки), мы не хотим сводить людей к механическим автоматам для 
распространения мемов. 

Нынешний акцент на вероятностных моделях в изучении онлайновой активности 
оставляет оез внимания третью научную парадигму — симуляцию. Насколько я знаю, 
симуляция еще не была введена ни в область социального компьютинга, ни в сферу 
цифровых гуманитарных наук как инструмент изучения пользовательского контента, его 
тем, типов изображений ит. д. Если в 2009 году ученые из Алмаденского 


исследовательского центра ВМ произвели симуляцию зрительной зоны коры головного 
мозга человека, используя 1,6 миллиарда виртуальных нейронов с 9 триллионами 
синапсов [32], то почему мы не можем представить, например, симуляцию всего контента 
пользователей ш$азэгат за год’? Или всего контента, которым делятся пользователи всех 
крупных социальных сетей? Или категорий изображений, которыми делятся люди? 
Смысл таких симуляций не в том, чтобы все понять или точно предсказать, чем будут 
делиться люди в следующем году. Вместо этого мы согласимся с позицией, высказанной 
во влиятельном учебнике «Симуляция для социальных исследователей», что одна из 
целей симуляции — «достичь лучшего понимания некоторых специфических черт 
социального мира», и что симуляция может быть использована в качестве «метода 
развития теории» [33] (курсив мой. — Л. М.). Поскольку для компьютерной симуляции 
требуется разработка развернутой и точной модели явления, размышление о том, как 
могут быть смоделированы культурные процессы, может помочь нам в создании теорий, 
разработанных более подробно, нежели существующие. (Пример того, как агентное 
моделирование может быть использовано в изучении эволюции человеческих обществ, 
см.: «Война, пространство и эволюция сложных обществ Старого Света» [34].) 

А как насчет больших данных? Разве они не представляют собой новую парадигму в 
науке со своими новыми исследовательскими методами? Это сложный вопрос, 
заслуживающий отдельной статьи. (Если мы говорим об исследовательских подходах и 
технологиях, то развитие «железа» в 2000-х годах, включая увеличение скорости 
процессора и объема оперативной памяти, а также использование графических 
процессоров и вычислительных кластеров, было, вероятно, более важным, чем 
доступность крупных массивов данных. И хотя использование машинного обучения с 
большим тренировочным набором данных достигло серьезных успехов, в большинстве 
случаев оно не дает феноменам объяснения.) Тем не менее в качестве заключения я бы 
хотел вспомнить об одной интересной для гуманитарных наук концепции, которую 
можно взять из сферы анализа больших данных и направить в новое русло. 

В ХХ веке ученые в области социальных наук работали с так называемыми 
«длинными данными» [35]. Это значит, что число исследуемых кейсов обычно в 
несколько раз превышало количество анализируемых переменных. Например, 
представим, что мы опросили две тысячи человек об их доходах, полученном 
образовании и годах обучения. В результате мы получим две тысячи кейсов и три 
переменные. После этого мы можем рассматривать корреляции между переменными, 
искать в данных кластеры или применять иные типы статистического анализа. 

В начале своего существования социальные науки характеризовались подобного рода 
резкой асимметричностью. Первый социолог-позитивист — Карл Маркс — разделял все 
человечество всего на два класса: тех, кто владеет средствами производства, и тех, кто 
ими не владеет, т. е. на буржуазию и пролетариат. Позднее социологи предложили и 
другие типы классификаций. Сегодня они представлены во множестве соцопросов, 
исследований и докладов в популярных медиа и академических публикациях. Обычно 
они основаны на таких критериях, как гендер, раса, этническая принадлежность, возраст, 
образование, доход, место жительства, религия и несколько других (перечень 
дополнительных переменных варьируется от исследования к исследованию). Но вне 
зависимости от деталей, собранные, проанализированные и получившие интерпретацию 
данные остаются очень «длинными». Все выборки таких данных описываются с 
помощью незначительного числа переменных. 

Но почему происходит именно так? В сферах компьютерного анализа медиа и 
компьютерного зрения исследователи используют алгоритмы для извлечения тысяч 
признаков из каждого изображения, видео, твита, электронного письма и т. д. [36] Так, 
например, хотя Винсент Ван Гог создал всего около 900 работ, они могут быть 
охарактеризованы с помощью тысяч различных параметров. Мы также можем описывать 


всех жителей города миллионами разных способов, извлекая всевозможные 
характеристики из их активности в социальных медиа. Другой пример — проект нашей 
лаборатории «На Бродвее», в котором мы представляем это место с помощью 40 
миллионов изображений и других данных. В проекте были использованы сообщения, 
чекины и фотографии, которыми люди, находящиеся на этой улице, делились через 
Тулйег, шу%аотат и Коигзачаге, а также данные о поездках в такси и показатели по 
окружающей территории от Бюро переписи населения США. 

Другими словами, вместо длинных данных мы можем иметь дело с широкими 
данными — огромным и потенциально бесконечным числом переменных, описывающих 
набор кейсов. Отметим, что если мы имеем больше переменных, чем кейсов, то такая 
репрезентация будет противоречить общим принципам как социальных наук, так и науки 
о данных. Последняя, в частности, прибегает к снижению размерности, т. е. к 
уменьшению числа переменных для более удобного обращения с ними. Для нас же 
«широкие данные» означают возможность переосмыслить фундаментальные 
представления об обществе и способах его изучения, а также о том, что такое культура, 
художественная карьера, корпус произведений, группа людей со схожими эстетическими 
вкусами и т. д. Вместо того чтобы делить историю культуры в соответствии с одним 
измерением (время), или двумя (время и географическое положение), или несколькими 
(например, по типу медиа, жанру), мы можем задействовать бесконечное число 
измерений. Целью подобного «широкого анализа данных» будет не только поиск новых 
совпадений, сходств и кластеров в пространстве культурных артефактов. Этот подход в 
первую очередь позволяет поставить под сомнение наш привычный взгляд на некоторые 
вещи, когда определенные аспекты воспринимаются как само собой разумеющиеся. И это 
лишь один из примеров ключевого для культурной аналитики метода: остранения [37] — 
представления базовых культурных концептов и способов организации и осмысления 
массивов культурных данных «в странном свете». Использование данных и методов 
управления ими проблематизирует то, как мы мыслим, видим и в конечном счете 
действуем в соответствии с нашими знаниями. 
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В проектах, описанных в данной статье, принимали участие: 
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